真厉害!1 秒写入 10 万条消息,Kafka 写得这么快,都是因为这些优化!

大家好,我是树义。

Kafka 作为消息队列中的中坚力量,基本上是每次面试必问的知识点。而说到 Kafka,大家对它的印象就是快!异常地快!

因此,为什么 Kafka 这么快,也是每次面试必问的知识点。对于混迹 Java 技术圈多年的我来说,Kafka 这么快的特性已经了然于胸。今天,就让我带着大家盘一盘!

Kafka 写入速度非常快,主要得益于其系统架构设计,包括:

PageCache批量压缩传输顺序、批量写磁盘多 partition 分散存储PageCache

学过操作系统的同学都知道,内存是易丢失的存储介质,而磁盘则是不容易丢失的存储介质。但内存读写速度快,而磁盘读写速度慢。操作系统为了能提高写磁盘的速度,于是在内存中开辟了一小块,用来作为写入磁盘的缓冲,提高写磁盘的速度,这小块内存叫 PageCache。

Kafka 之所以这么快,其中一个很重要的点就是用了 PageCache。

THE END
Copyright © 2024 亿华云