一次 jbd2进程导致磁盘 io 高的分析解决过程
故障现象 在3节点组成的大数据集群中,混部了 ES,kafka,zk,pg,mysql,spark,yarn,hdfs,以及业务的 etl 程序等组件。起初发现…
故障现象 在3节点组成的大数据集群中,混部了 ES,kafka,zk,pg,mysql,spark,yarn,hdfs,以及业务的 etl 程序等组件。起初发现…
最近在对 es 的测试过程中,esrally 批量写入数据后,发现 segment 数量比较预期要多,segment 的生成涉及到 lucene 内部的一些原理…
背景 某日集群告警,hbase regionserver 因 fd 不足导致进程主动退出,简单排查后发现regionserver 到 datanode 的TCP…
在对集群进行压测的时候我们经常需要进行长时间的,不间断的测试,以观察其性能的波动情况。例如在测试写入速度时,由于 lucene 的 segment merge …
非常抱歉,很久没来更新博客,因为我去写书了。第一次产生写书的想法,是在写了一阵子博客之后,感觉一些文章的内容值得放在书里。这种想法只是一闪而过。但是随着时间流逝…
第 13 章 Snapshot 模块分析 快照模块是 ES 备份、迁移数据的重要手段。他支持增量备份,支持多种类型的仓库存储。本章我们先来看看如何使用快照,以及…
第 6 章 数据模型 PacificA 算法 es 的数据复制模型基于主从模式(或称主备模式。hdfs 和cassandra为对等模式),在实现过程中参考了微软…
导出为 PDF 格式,请见:https://www.easyice.cn/archives/media/kanwu.pdf
为了控制搜索结果的相关度,elasticsearch 提供了多种方式,通过脚本实现自定义评分逻辑是终极方式。脚本返回一个评分值,该值再与原_score再进行加法…
对于索引分片数量,我们一般在模板中统一定义,在数据规模比较大的集群中,索引分片数一般也大一些,在我的集群中设置为 24。但是,并不是所有的索引数据量都很大,这些…