1-Kafka基本概念

时间:2019-08-08 来源: 旅游

  Kafka是一个分布式的消息引擎系统和流式处理系系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅采用主题的形式,为每个业务或应用程序或数据类型创建专用主题。

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

由多个消费者组成的消费者组,他们共同使用主题中的数据。每个分区通常对应一个消费者,多个消费者同时消耗多个分区以实现高吞吐量

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。

96

Wenthkim

2019.07.2808: 16

字数215

Kafka是一个分布式消息传递引擎系统和流媒体系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅采用主题的形式,为每个业务或应用程序或数据类型创建专用主题。

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

在消费者群体中,多个消费者在主题中形成共同的数据消费,并且每个分区通常对应于一个消费者,并且多个消费者同时消费多个分区以实现高吞吐量。

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。

Kafka是一个分布式消息传递引擎系统和流媒体系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅是以主题的形式。为每个业务或应用程序或数据类型创建唯一的主题

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

在消费者群体中,多个消费者在主题中形成共同的数据消费,并且每个分区通常对应于一个消费者,并且多个消费者同时消费多个分区以实现高吞吐量。

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。

新闻排行
  1.   将于今年9月30日上映的《中国机长》,今日(7月12日)曝光一组剧照。陈数、焦俊艳、阚清子、冯文娟惊喜

      将于今年9月30日上映的《中国机长》,今日(7月12日)曝光一组剧照。陈数、焦俊艳、阚清子、冯文娟惊喜...

  2.   Kafka是一个分布式的消息引擎系统和流式处理系系统。关于消息引擎系统,它主要为消息发布和订阅提供了?

      Kafka是一个分布式的消息引擎系统和流式处理系系统。关于消息引擎系统,它主要为消息发布和订阅提供了?...

  3. ?  ?直播和游戏视频对游戏的销量很产生比较复杂的影响,一方面他们可以推广游戏,但对于基于叙事的游戏,你不一定要在阅读之后购买它。然而,根据PlayStationlifestyle,《逃出生天》和《底

    ?  ?直播和游戏视频对游戏的销量很产生比较复杂的影响,一方面他们可以推广游戏,但对于基于叙事的游戏,你不一定要在阅读之后购买它。然而,根据PlayStationlifestyle,《逃出生天》和《底...

  4.   将于今年9月30日上映的《中国机长》,今日(7月12日)曝光一组剧照。陈数、焦俊艳、阚清子、冯文娟惊喜

      将于今年9月30日上映的《中国机长》,今日(7月12日)曝光一组剧照。陈数、焦俊艳、阚清子、冯文娟惊喜...

  5. 【缘木求鱼】只要宇晨君的饭钱到了账,只如果巴菲特先生没有意见,那么外界就不需要追究这一事件。但是,不

    【缘木求鱼】只要宇晨君的饭钱到了账,只如果巴菲特先生没有意见,那么外界就不需要追究这一事件。但是,不...

  6.   “安心偷食”事件已经过去两个多月,偷食主角许志安和黄新英的职业生涯遭受重创,郑秀文一直忙着准备他

      “安心偷食”事件已经过去两个多月,偷食主角许志安和黄新英的职业生涯遭受重创,郑秀文一直忙着准备他...

  7.   21:08:40睡着也要看影视近日,亲爱的高能量甜蜜剧,喜欢不同于网络剧,网上和下一行,以及腾讯视频的同

      21:08:40睡着也要看影视近日,亲爱的高能量甜蜜剧,喜欢不同于网络剧,网上和下一行,以及腾讯视频的同...

  8.   刘邦还没起兵造反之前,是沛县的亭长,可他的名声并这不好,这是一个懒惰的混合,整天是一件坏事,它仍

      刘邦还没起兵造反之前,是沛县的亭长,可他的名声并这不好,这是一个懒惰的混合,整天是一件坏事,它仍...

  9. ?  家味宫保鸡  食材:鸡胸肉250克青红椒各4根炸花生米50克葱粒2茶匙(10克)姜末1茶匙(5克)蒜末1茶匙(5克)花椒15粒干红辣椒6根盐1茶匙(5克)料酒1/2茶匙(3克)干淀粉2茶匙(10

    ?  家味宫保鸡  食材:鸡胸肉250克青红椒各4根炸花生米50克葱粒2茶匙(10克)姜末1茶匙(5克)蒜末1茶匙(5克)花椒15粒干红辣椒6根盐1茶匙(5克)料酒1/2茶匙(3克)干淀粉2茶匙(10...

  10.   刘邦还没起兵造反之前,是沛县的亭长,可他的名声并这不好,这是一个懒惰的混合,整天是一件坏事,它仍

      刘邦还没起兵造反之前,是沛县的亭长,可他的名声并这不好,这是一个懒惰的混合,整天是一件坏事,它仍...