真厉害!1 秒写入 10 万条消息,Kafka 写得这么快,都是因为这些优化!
大家好,我是树义。
Kafka 作为消息队列中的中坚力量,基本上是每次面试必问的知识点。而说到 Kafka,大家对它的印象就是快!异常地快!
因此,为什么 Kafka 这么快,也是每次面试必问的知识点。对于混迹 Java 技术圈多年的我来说,Kafka 这么快的特性已经了然于胸。今天,就让我带着大家盘一盘!
Kafka 写入速度非常快,主要得益于其系统架构设计,包括:
PageCache批量压缩传输顺序、批量写磁盘多 partition 分散存储PageCache
学过操作系统的同学都知道,内存是易丢失的存储介质,而磁盘则是不容易丢失的存储介质。但内存读写速度快,而磁盘读写速度慢。操作系统为了能提高写磁盘的速度,于是在内存中开辟了一小块,用来作为写入磁盘的缓冲,提高写磁盘的速度,这小块内存叫 PageCache。
Kafka 之所以这么快,其中一个很重要的点就是用了 PageCache。
THE END