™技术博客

kafka | 搭建源码环境

kafka
如何搭建 Kafka 开发环境 安装 Java 和 Gradle 必须要安装好 Java 和 Gradle,同时在 IDEA 中安装 Scala 插件。最好把 Java 和 Gradle 环境加入到环境变量中。 下载 Kafka 的源码12> cd Projects> g ...
阅读全文

docker | 共享宿主机环境

docker
宿主机安装配置jdk 列出所有已经被安装的,名字中包含jdk字符串的RPM包1> rpm -qa|grep java 删除旧版本的jdk1234> rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86 ...
阅读全文

kafka | 集群参数配置

kafka
Broker端参数 也称 静态参数(Static Configs)介绍的所有参数都是那些要修改默认值的参数;因为它们默认值不适合一般的生产环境。 静态参数 必须在 Kafka 的配置文件 server.properties 中进行设置的参数,不管你是新增、修改还是删除。 同时,你必须重 ...
阅读全文

kafka | 集群规划

kafka
Kafka线上集群部署方案怎么做? 1. 操作系统选型 Linux最佳,原因包括三个维度 I/O模型的使用 数据网络传输效率 社区支持度 1.1 I/O模型分类 阻塞式IO BIO 非阻塞时IO NIO IO多路复用 Select函数 信号驱动IO Epoll 异步IO AIO Ka ...
阅读全文

kafka | 消息引擎

kafka
聪明人要下死功夫 Apache Kafka 开源的消息引擎系统Messaging System 消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递 参考维基百科 通俗版:系统 A 发送消息给消息引擎系统,系统 B 从消息引擎系统中读取 ...
阅读全文

apm | ES存储字段说明

apm
ES索引模板12345678910111213141516171819202122232425262728293031323334353637383940414243{ "order" : 0, "index_patterns" : [ ...
阅读全文

apm | SpringKafkaListener动态扩展

apm
需求背景 框架: spring-kafka 需求:实现@KafkaListener的动态生成 参考来源stackoverflowgithub 样例配置123456789apm: kafka: listeners: enable: true details: ...
阅读全文

kafka | 基础部分

kafka
整体架构 核心概念 消息 Kafka中最基本的数据单元 消息是一串主要由key和value构成的字符串,key和value也都是byte数组 key的主要作用是根据一定的策略,将此消息路由到指定的Partition中,这样就可以保证包含同一key的消息全部写入同一分区中 消息的真正有效负载 ...
阅读全文

apm | 关键指标说明

apm
APDEX性能指数参考:apdex APDEX性能指数(Application Performance Index)是一个国际通用的应用性能计算标准。该标准将用户对应用的使用感受定义为三个等级: 满意(0~T) 可容忍(T~4T) 不满意(大于4T) 1Apdex=(满意 ...
阅读全文

skywalking | 指标流式处理(端点与地址)

skywalking
数据协议proto文件 proto文件:language-agent/Tracing.proto 方法及参数 TraceSegment方法定义: collect TraceSegment数据定义:SegmentObject 1234567891011121314message Segme ...
阅读全文
Prev Next