小白网-奉贤部落-奉贤免费信息发布平台

查看: 44|回复: 0

kafka内网和外网端口(kafka设置外网拜候)

[复制链接]

2万

主题

0

回帖

8万

积分

论坛元老

Rank: 8Rank: 8

积分
88256
发表于 2025-7-26 13:01 | 显示全部楼层 |阅读模式
假定您在同一个vpc(私有收集)中有一个kafka集群,也就是说,在一个intranet情况中他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。kafka集群有三个代理,代理1、代理2和代理3他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
Kafka集群信息以下:
[*]代理1 IP: 192.168.xxx.1[*]代理2 IP: 192.168.xxx.2[*]掮客人3 IP: 192.168.xxx.3kafka集群中每个节点的Server.properties设置
属性:broker . id = 1listeners = PLAINTEXT://192.168 . XXX . 1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://192.168 . XXX . 2:19092config/server-3 .属性:broker . id = 3listeners = PLAINTEXT
[*]现在希望经过设置vpc公共ip停止端口转发(大概nginx停止端口转发),可以经过外网拜候(但现实利用kafka客户端毗连会报错超时)假如你想经过vpc外的机械拜候kafka集群,你还想拜候192.168.xxx.1: 19092,192.168.xxx.2: 19092,192.168.xxx.3: 19092他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
在vpc上做端口转发,vpc的私有ip是192.168.xxx.xx,在响应的防火墙上翻开响应的端口(19092,19093,19093),比如:
192.168 . XXX . xx:19092- gt;192.168 . XXX . 1:19092192.168 . XXX . xx:19093- gt;192.168 . XXX . 2:19092192.168 . XXX . xx:19094- gt;192.168.xxx.2:19092
测试
此时,假如你经过vpc的公共ip和对应的端口毗连私网(内网)中的kafka集群,端口192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094全数毗连他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
kafka建造者(客户端)和办事器之间也有类似的协商阶段他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。办事器会间接将lkafka设置文件中监听器的地址返回给生产者,生产者会将数据发送到这个监听器地址他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
由于kafka客户端自动发现集群地址,所以当你经过192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094毗连到kafka集群时,kafka集群返回给你的ip列表是由你的监听器设置的,也就是说
192.168 . XXX . 1:19092192.168 . XXX . 2:19092192.168 . XXX . 3:19092
客户端生产者在vpc的专网之外,生产者的ip转发和端口都没用他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。生产者和vpc的公网ip是毗连的,可是在vpc中并没有和专网毗连,这是拜候kafka发送或消耗消息时会报告收集超时的本质缘由他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
一种处理计划是经过域名停止客户端映照他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
1.kafka设置:点窜kafka集群办事器各节点的server.properties设置,留意监听器后的ip和端口设置他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
属性:broker . id = 1listeners = PLAINTEXT://Kafka-1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://Kafka-2:19093config/server-3 .属性:broker . id = 3listeners = PLAINTEXT://Kafka-3:19094
kafka集群的每个节点在办事器端设置主机他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
卡特彼勒/etc/主机
192.168.xxx.1卡夫卡-1
192.168.xxx.2卡夫卡-2
192.168.xxx.3卡夫卡-3
2.vpc做端口映照kafka-1到192.168 . XXX . 1:19092Kafka-2到192.168 . XXX . 2:19093Kafka-3到192.168.xxx.3: 19099他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
3.客户端设置:客户端将kafka01、kafka02和kafka03映照到主机文件中的公共地址他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。这很关键他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。如上所述,客户端将获得kafka设置的元数据,客户端将获得三个主机名kafka-1、kafka-2和kafka-3他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。以后,生产或消耗数据将经过该地址间接拜候他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。假如这三个主机名没有重新映照到公共IP,数据将没法成功天生或利用他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
#/etc/hosts192.168 . XXX . xx Kafka 01 Kafka 02 Kafka 03
客户端拜候kafka集群时,获得kafka-1:19092,kafka-2:19093,kafka-3:19094,这些都是经过客户端设置的主机映照转换成对应外网的ip,所以可以拜候他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
留意:端口应当是分歧的,而且主机映照仅转换为ip他早就发现系统有个隐藏的缝隙私下花了好几个早晨优化了代码。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|小白网-奉贤部落-奉贤免费信息发布平台  

GMT+8, 2025-11-11 19:23 , Processed in 2.358898 second(s), 21 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表