基本信息

---

下载

   友情提示：（无需注册或充值，赞助后即可获取资源下载链接）

---

     嘿，亲！知识可是无价之宝呢，但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下，绝对物超所值哦！如有下载和支付问题，请联系我们QQ(微信同号)：813200300

本次赞助数额为： 2 元　

支付宝支付

微信支付

   源码介绍

---

Kafka消费者 从Kafka中读取数据并写入文件

最近有需求要从kafak上消费读取实时数据，并将数据中的key输出到文件中，用于发布端的原始点进行比对，以此来确定是否传输过程中有遗漏数据。

不废话，直接上代码，公司架构设计 kafak 上有多个TOPIC，此代码每次需要指定一个TOPIC，一个TOPIC有3个分区Partition，所以消费的时候用多线程，

读取数据过程中直接过滤重复的key点，因为原始推送点有20W的量(可能发生在一秒或者几秒)。当时我直接用的HASHMAP来过滤。

.
└── Kafka_ReadData
    ├── ConsumerGroup.java
    ├── ConsumerRunnable.java
    ├── ConsumerTest.java
    └── WriterDataFile.java

1 directory, 4 files