MALLOC_ARENA_MAX=1 与 MALLOC_ARENA_MAX=4有什么区别？
2019年 Elastic开发者大会的时候我曾经说过 glibc 导致的堆外内存过多问题： 如果应用程序每次分配内存的时候都通过系统调用 mmap，sbrk等来…
Elasticsearch 7.4的 soft-deletes 是个什么鬼
新概念 从 Elasticsearch 7.4 开始，peer-recovery（副分片的恢复）不再依赖从主分片拉取 translog。在 6.0-7.3的版本…
深入理解 Elasticsearch 7.x 新的集群协调层
ES 7.x 重构了一个新的集群协调层，他实际上是 Raft 的实现，但并非严格按照 Raft 论文实现，而是做了一些调整，不过话说自己实现 Raft 协议的时…
一次 jbd2进程导致磁盘 io 高的分析解决过程
故障现象 在3节点组成的大数据集群中，混部了 ES，kafka，zk，pg，mysql，spark，yarn，hdfs，以及业务的 etl 程序等组件。起初发现…
Elasticsearch & lucene 的 segment 生成与 flush 过程解析
最近在对 es 的测试过程中，esrally 批量写入数据后，发现 segment 数量比较预期要多，segment 的生成涉及到 lucene 内部的一些原理…
再谈 TCP 的 CLOSE_WAIT
背景 某日集群告警，hbase regionserver 因 fd 不足导致进程主动退出，简单排查后发现regionserver 到 datanode 的TCP…
在 esrally 中使用少量数据进行循环压测
在对集群进行压测的时候我们经常需要进行长时间的，不间断的测试，以观察其性能的波动情况。例如在测试写入速度时，由于 lucene 的 segment merge …
新书上市 -《Elasticsearch 源码解析与优化实战》
非常抱歉，很久没来更新博客，因为我去写书了。第一次产生写书的想法，是在写了一阵子博客之后，感觉一些文章的内容值得放在书里。这种想法只是一闪而过。但是随着时间流逝…
《ELASTICSEARCH 源码解析与优化实战》样章-第 13 章 Snapshot 模块分析
第 13 章 Snapshot 模块分析 快照模块是 ES 备份、迁移数据的重要手段。他支持增量备份，支持多种类型的仓库存储。本章我们先来看看如何使用快照，以及…
《Elasticsearch 源码解析与优化实战》样章-第 6 章 数据模型
第 6 章 数据模型 PacificA 算法 es 的数据复制模型基于主从模式（或称主备模式。hdfs 和cassandra为对等模式），在实现过程中参考了微软…