博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在CentOS 7上安装Kafka集群
阅读量:6482 次
发布时间:2019-06-23

本文共 2062 字,大约阅读时间需要 6 分钟。

一、安装准备

1、修改系统配置
#关闭selinux、firewall
#修改/etc/security/limits.conf添加以下内容:

  • soft nofile 65536
  • hard nofile 65536
  • soft nproc 65536
  • hard nproc 65536
    #修改/etc/security/limits.d/20-nproc.conf
  • soft nproc 65536
    3、创建账户、目录
    groupadd -g 800 kafka
    useradd -u 800 -g kafka kafka

二、安装步骤

1、解压文件
tar xvf kafka_2.12-1.0.0.tgz -C /usr/local/
cd /usr/local/
mv kafka_2.12-1.0.0/ kafka
mkdir /usr/local/kafka/log
chown -R kafka.kafka /usr/local/kafka
2、修改环境变量.bash_profile
#su - kafka
$vim .bash_profile
JAVA_HOME=/usr/local/jdk
CLASSPATH=$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:/usr/local/kafka/bin
export PATH JAVA_HOME CLASSPATH
#重新加载.bash_profile
$. .bash_profile
3、修改配置文件
broker.id=0 每台服务器的broker.id都不能相同
host.name=192.168.10.21
log.dirs=/usr/local/kafka/log
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=192.168.10.21:2181,192.168.10.22:2181,192.168.10.23:2181
4、启动kafka
kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

三、测试

1、在任意机器上建一个topic,因为有三个kafka服务,所以这里replication-factor设为3
kafka-topics.sh --create --zookeeper 192.168.10.23:2181 --replication-factor 3 -partitions 1 --topic 3test
Created topic "3test".

2、查看topic,此时的leader kafka为1,repicas:集群里有三个kafka,Isr:正常使用的kafka

kafka-topics.sh --describe --zookeeper 192.168.10.21:2181
Topic:3test PartitionCount:1 ReplicationFactor:3 Configs:
Topic: 3test Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

3、在2这台机器上开启一个producer,往1这个kafka发消息

kafka-console-producer.sh --broker-list 192.168.10.22:9092 --topic 3test
this is a message to 132 broker
re?

4、停掉1的kafka,再次查看topics,此时可用的Isr为0和2

kafka-topics.sh --describe --zookeeper 192.168.10.21:2181
Topic:3test PartitionCount:1 ReplicationFactor:3 Configs:
Topic: 3test Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0

5、在0上开启一个consumer

kafka-console-consumer.sh --zookeeper 192.168.10.21:2181 --topic 3test --from-beginning
re?

自此,发现停掉了132,依然能通过zookeeper从129和133的kafka上收到发往132的消息。

kafka集群测试通过

参考博文:

转载于:https://blog.51cto.com/linux10000/2062127

你可能感兴趣的文章
linux内存管理之kmem_cache_init
查看>>
机器学习入门|线性回归(一)
查看>>
论docker中 CMD 与 ENTRYPOINT 的区别(转)
查看>>
远程仓库版本回退方法 good
查看>>
Swift游戏实战-跑酷熊猫(一) 简介 (含源代码)
查看>>
构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(41)-组织架构
查看>>
【百度地图API】如何制作孪生姐妹地图?
查看>>
重构——40引入Null对象(Introduce Null Object)
查看>>
【框架】[MyBatis]DAO层只写接口,不用写实现类
查看>>
[20170315]ORA-19656错误.txt
查看>>
ArcGIS API for JavaScript开发环境搭建及第一个实例demo
查看>>
bash/shell编程学习(3)
查看>>
linux signal 用法和注意事项
查看>>
Flink-CEP论文与源码解读之状态与状态转换
查看>>
移动应用开发—— 如何搭建开发大型的应用架构?
查看>>
实现一个最简单的VIM文本编辑器(可能有bug,随便写了一个)
查看>>
[WCF REST] Web消息主体风格(Message Body Style)
查看>>
[WCF REST] 帮助页面与自动消息格式(JSON/XML)选择
查看>>
SaltStack的salt-api里如何指定用户执行cmd.script
查看>>
助力全球近百万人同时观看 LOL S7 直播,阿里云是怎么做到的?
查看>>