2021年5月26日
kafka
如何搭建 Kafka 开发环境
安装 Java 和 Gradle
必须要安装好 Java 和 Gradle,同时在 IDEA 中安装 Scala 插件。最好把 Java 和 Gradle 环境加入到环境变量中。
下载 Kafka 的源码12> cd Projects> g ...
阅读全文
2021年5月24日
docker
宿主机安装配置jdk
列出所有已经被安装的,名字中包含jdk字符串的RPM包1> rpm -qa|grep java
删除旧版本的jdk1234> rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86 ...
阅读全文
2021年5月23日
kafka
Broker端参数
也称 静态参数(Static Configs)介绍的所有参数都是那些要修改默认值的参数;因为它们默认值不适合一般的生产环境。
静态参数
必须在 Kafka 的配置文件 server.properties 中进行设置的参数,不管你是新增、修改还是删除。
同时,你必须重 ...
阅读全文
2021年5月23日
kafka
Kafka线上集群部署方案怎么做?
1. 操作系统选型
Linux最佳,原因包括三个维度
I/O模型的使用
数据网络传输效率
社区支持度
1.1 I/O模型分类
阻塞式IO BIO
非阻塞时IO NIO
IO多路复用 Select函数
信号驱动IO Epoll
异步IO AIO
Ka ...
阅读全文
2021年5月22日
kafka
聪明人要下死功夫
Apache Kafka
开源的消息引擎系统Messaging System
消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递 参考维基百科
通俗版:系统 A 发送消息给消息引擎系统,系统 B 从消息引擎系统中读取 ...
阅读全文
2021年5月11日
apm
ES索引模板12345678910111213141516171819202122232425262728293031323334353637383940414243{ "order" : 0, "index_patterns" : [ ...
阅读全文
2021年3月21日
apm
需求背景
框架: spring-kafka
需求:实现@KafkaListener的动态生成
参考来源stackoverflowgithub
样例配置123456789apm: kafka: listeners: enable: true details: ...
阅读全文
2021年3月5日
kafka
整体架构
核心概念
消息
Kafka中最基本的数据单元
消息是一串主要由key和value构成的字符串,key和value也都是byte数组
key的主要作用是根据一定的策略,将此消息路由到指定的Partition中,这样就可以保证包含同一key的消息全部写入同一分区中
消息的真正有效负载 ...
阅读全文
2021年2月27日
apm
APDEX性能指数参考:apdex
APDEX性能指数(Application Performance Index)是一个国际通用的应用性能计算标准。该标准将用户对应用的使用感受定义为三个等级:
满意(0~T)
可容忍(T~4T)
不满意(大于4T)
1Apdex=(满意 ...
阅读全文
2021年2月23日
skywalking
数据协议proto文件
proto文件:language-agent/Tracing.proto
方法及参数
TraceSegment方法定义: collect
TraceSegment数据定义:SegmentObject
1234567891011121314message Segme ...
阅读全文