程序猿洞晓
Kafka学习笔记(五):消费者偏移量提交、独立消费者、再均衡监听器以及消费者对重复消费、消息丢失问题的解决 Kafka学习笔记(五):消费者偏移量提交、独立消费者、再均衡监听器以及消费者对重复消费、消息丢失问题的解决
再均衡的概念以及触发的情况都在上一篇文章中做了说明。再均衡的执行过程是造成重复消费、消息丢失的主要原因。另外消费者偏移量如何提交,如何保证再均衡后,消费者能够从上次执行到的偏移量开始消费,防止重复消费和丢失问题,都将在这篇文章中体现。
2019-06-26
Kafka学习笔记(四):自定义序列化器、反序列化器、分区器以及分区再均衡策略 Kafka学习笔记(四):自定义序列化器、反序列化器、分区器以及分区再均衡策略
序列化器、反序列化器以及分区器都有所了解,Kafka客户端提供默认的7种方式基本够用了,但是对于一个大型复杂的项目群里面,总是会有特殊的要求,这个时候就需要自己去定义相关的序列化器和反序列化器。另外就是自定义分区器,这个应用的可能会多一点,根据实际业务将消息发送到指定的分区中。
2019-06-15
Kafka学习笔记(三):Kafka的第一个HelloWorld Kafka学习笔记(三):Kafka的第一个HelloWorld
引入依赖需要小心,如果没有做相关的了解很容易引入jar包不可用,导致一直有错误。在下载Kafka的时候,Kafka的压缩包的名称都类似这样`kafka_2.11-0.10.1.1`。其中`2.11`是代表Kafka的版本,`0.10.1.1`代表的是客户端的版本。所以在项目中引入Kafka的客户端jar的时候一定要和这个版本对应上,并不是越高越好。
2019-06-06
Kafka学习笔记(二):Kafka之常用配置文件核心内容 Kafka学习笔记(二):Kafka之常用配置文件核心内容
上一篇了解了Kafka的基本概念,主要是日志、主题、分区、生产者、消费者、消费者群组、偏移量、消息和批次以及Broker和集群。这些基本概念了解以后就是上手自己下载Kafka,安装起来。安装Kafka很简单,……,同样Kafka启动使用默认配置也可以,但是为了学习Kafka,还是需要了解配置文件中各项内容的含义以及在服务中起到的作用。
2019-05-28
Kafka学习笔记(一):Kafka基本概念理解 Kafka学习笔记(一):Kafka基本概念理解
ActiveMQ、RabbitMQ是用的比较多得消息队列,但是随着时间的推移,大数据的应运而生,这两种消息队列使用的也是越来越少了,Kafka渐渐进入开发人员的视线,再加上Kafka天生的集群运行、大数据量的处理能力,以及数据的持久化能力等,主导地位也是必然的事情。
2019-05-20