Топик Kafka

Топик Kafka — это именованный канал внутри Apache Kafka, в который производители (producers) публикуют сообщения, а потребители (consumers) их читают. В отличие от классической очереди, сообщения в топике не удаляются после прочтения — они хранятся в течение заданного времени и доступны нескольким независимым группам потребителей.

Топик разбит на партиции (partitions) — независимые фрагменты лога, которые распределяются по серверам кластера Kafka. Это обеспечивает горизонтальное масштабирование: чем больше партиций, тем выше пропускная способность. Каждое сообщение в партиции имеет уникальный смещающийся номер (offset) — потребитель помнит, до какого offset он дочитал, и продолжает с этой точки при возобновлении работы.

Kafka топики незаменимы там, где одно событие должно обработать сразу несколько систем. Событие «заказ оплачен» должно попасть в WMS (для комплектации), в биллинг (для закрытия счёта), в CRM (для обновления истории клиента) и в аналитическую систему. Топик позволяет опубликовать событие один раз и дать каждой системе прочитать его независимо и в своём темпе.

Ключевых отличия три. Во-первых, хранение: очередь удаляет сообщение после обработки, топик хранит его. Во-вторых, получатели: очередь — один получатель на сообщение, топик — неограниченное число независимых групп потребителей. В-третьих, пропускная способность: Kafka проектировалась для миллионов сообщений в секунду, классические очереди — для тысяч.