Managed Apache Kafka
Потоковая платформа для событий и интеграций — без боли администрирования.
Кластер Apache Kafka в несколько шагов: три брокера с репликацией, декларативное управление топиками и шифрование трафика. Сервис живёт в вашем пространстве DevSpace, рядом с базами и приложениями проекта — стройте событийную архитектуру, а обновления, восстановление и координацию кластера оставьте платформе..
Что вы получаете
-
Кластер, готовый к productionнесколько брокеров с репликацией партиций между ними -
Декларативные топикипартиции, фактор репликации и политики хранения задаются конфигурацией, а не скриптами на брокере -
Шифрование трафикаTLS между компонентами кластера и на внешнем подключении -
Стандартный протокол Kafkaработают все клиенты экосистемы: Java, Go, Python, Kafka Connect, ksqlDB -
Масштабированиерост числа брокеров и ресурсов по мере увеличения потока
Как устроен сервис
Кластером управляет Strimzi — открытый Kubernetes-оператор для Apache Kafka и проект CNCF, стандарт де-факто для запуска Kafka в Kubernetes:
- Топики как конфигурация
Топик описывается декларативно: имя, число партиций, фактор репликации, политики (retention, compaction и другие настройки Kafka). Оператор приводит кластер к описанию — удобно для GitOps.
- Управляемый жизненный цикл
Strimzi выполняет rolling-обновления — брокеры перезапускаются по одному, без остановки кластера, и следит за согласованностью конфигурации.
- TLS внутри кластера — всегда
Межброкерный трафик и служебные подключения шифруются, PKI кластера оператор ведёт автоматически.
- Персистентные томаДанные брокеров хранятся на блочном хранилище платформы, доступны реплицируемые классы хранилища.
Возможности
Сценарии использования
-
Событийная архитектураасинхронный обмен между микросервисами вместо хрупких синхронных цепочек. Сами сервисы при этом могут работать в managed Kubernetes в том же пространстве и ходить к брокерам по внутренним адресам — выставлять Kafka наружу не обязательно -
Потоковая обработкаметрики, клики, телеметрия, IoT: приём и обработка событий в реальном времени -
Интеграционная шинанадёжная доставка данных между системами, включая CDC-репликацию из баз данных - Буфер и разгрузкасглаживание пиков нагрузки между продюсерами и потребителями
Как развернуть Apache Kafka в облаке — три шага
- 1Добавьте сервис «Kafka» в своём пространстве DevSpace: ресурсы брокеров и размер хранилища.
- 2Опишите топики — партиции, реплики и политики хранения, прямо в конфигурации сервиса.
- 3Подключите продюсеров и консьюмеров стандартными Kafka-клиентами по адресу из панели.
Вопросы–ответы
Лидерство партиций автоматически перейдёт к репликам на живых брокерах, клиенты переключатся штатным механизмом протокола Kafka. Упавший брокер платформа пересоздаст.
Декларативно: набор топиков с их параметрами — часть конфигурации сервиса. Это исключает «дрейф» настроек и хорошо ложится на GitOps-процессы.
Да — это стандартный Apache Kafka, любые клиенты и инструменты экосистемы работают без изменений.
Да, внешний доступ включается отдельной опцией — подключение идёт через LoadBalancer и защищено TLS.