Pulsar broker负载均衡原理和实现[toc]Pulsar 的负载均衡策略的目的是为了将负载均匀的分配在集群不同的 broker 上。1. Broker 分类从负载均衡的角度看,broker 可以分为两类leader broker:负载汇总、更新负载信息其他 broker:计算自己的负载信息...
在 MQ 实际的使用中,消费数据时,可能会遇到消息处理异常或者需要推迟处理的场景,这里就涉及到消息的重推逻辑。Pulsar 自己提供了一些消息重推的能力。本文主要介绍 pulsar 的消息重推机制。消息获取(拉取/推送)机制Pulsar 的消费采用了推、拉结合的消息获取机制,Consumer 获取消...
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制(GEO replication)、快速扩容、灵活容错等特性,GEO replication 可以原生支持数据和订阅状态在多个集群之间进行复制,本文主要讲述 GEO 中的订阅状态的同步。...
[toc]1. Pulsar 事务介绍在 pulsar 中可以通过 produce 异常重试、consume 异常不 ack 的方式保证数据的不丢失,即 atleast-once 语义;Pulsar 提供了一个幂等(idempotent)producer 的特性,可以从 broker 侧对数据进行去...
Pulsar Schema...
Chunk message简介...
Pulsar Proxy 可以看做是 pulsar broker的代理,producer 和 consumer 可以不直接与 Broker 直接链接,而是通过 proxy 和 broker进行连接。...
Pulsar的数据一致性保证...
Pulsar 数据生命周期Pulsar 作为一个 MQ,核心流程就是数据的生产和消费,对于已经写入 MQ 的数据,数据的保存和删除策略也尤为重要。...
初始化 PulsarService时,首先为负载均衡初始化一个单线程的线程池this.loadManagerExecutor = Executors .newSingleThreadScheduledExecutor(new DefaultThreadFactory(&...