产品介绍

大数据服务总线是云计算平台内平台服务层的核心支撑组件，承载着可提供的数据服务资源，并对服务提供者和使用者搭建一个可交互共享的服务中介平台，兼容适配异构多云，解决分布式数据访问和不同应用间访问调用的差异问题，将跨地域、跨层级、跨部门的应用系统及数据有机地联系与整合在一起，实现了全网分布式信息共享和资源综合利用。

技术浅析

传输可观察

提供可观察性，实现传输过程的可见、透明、白盒化

●日志采集+解析：指标度量、分布式链路、结构化日志、传输账单

●标准数据格式和上报API

●开放数据格式和采集API

高可靠传输

网络可靠：检测-重传机制

●差错检测：数据摘要/指纹→错误重传

●丢包检测

●发送方检测：定时检查等待的确认→超时重传

●接收方检测：协商连续编号/数据清单→选择重传

●重复检测：唯一性数据标识/摘要指纹→冗余过滤

●顺序检测：时间戳/有序编号→重新排序

节点可靠性

●本地持久化缓冲，支持断电保护、异常恢复

●滚动WAL和异步落盘，降低持久化影响

●节点HA集群

对账支持

●输出边界账单，供外部对账

可靠与性能的平衡

高性能传输

并发模型

●非阻塞异步IO：epoll多路复用、Reactor线程模型

协议效率

●七层HTTP  四层TCP

●减少报文冗余，支持二进制格式（压缩透传）

大报文：超过发送缓冲区大小

●分块并发：切分参数支持静态配置、动态统计更新

●流水线并发、多链路并行、多核心并行

●内部编号，确保接收端的可靠拼装

●断点续传

文件系统

●零拷贝

●小文件合并：拼包，对齐MTU；减少新建连接数

适应性传输

根据功能、部门及业务等因素动态构建差异化、隔离的专用虚拟通道

●绑定资源池（ CPU、线程、内存、网络、磁盘）、传输策略（优先级、可靠性等）

适应不同优先级、可靠性、安全要求、传输策略的精准、平衡需要

●高可靠 vs. 高吞吐

●大报文&大文件传输 vs. 普通请求服务

应用场景

逻辑上把请求过程和响应过程分成异步的两部分，但在具体的物理协议适配上：

●对于HTTP这种同步请求响应的协议，在节点侧同步阻塞响应，保持物理的同步调用

●对于PCI这种异步请求响应的协议，就原生支持了；当然目前提供的PCI Client API的封装版本rbsp api，有实现应用侧的异步仿真同步。