Авторы: Дэн Мур, Эрик Сан, Л.В. Лу, Синью Лю
Tl; dr: Coinbase использует управляемую потоковую передачу AWS для Kafka (MSK) для бесперебойного обслуживания со сверхмалой задержкой. связь с сервисом, ETL данных и отслеживание измененных данных базы данных (CDC). Инженеры из нашей команды Data Platform далее представят эту работу на конференции AWS Re: Invent в ноябре 2021 года.
Аннотация
В Coinbase мы ежедневно обрабатываем миллиарды событий из пользователей, приложений и криптографических источников в наших продуктах. Данные о потоках кликов собираются через веб-клиенты и мобильные клиенты и загружаются в Kafka с помощью собственного Ruby и Golang SDK. Кроме того, потоки отслеживания измененных данных (CDC) из различных баз данных работают через Kafka Connect. Одним из основных потребителей этих сообщений Kafka является наш конвейер данных ETL, который передает данные в наше хранилище данных (Snowflake) для дальнейшего анализа нашими командами Data Science и Data Analyst. Более того, внутренние службы компании (такие как наши продукты Prime Brokerage и Inventory Drift в реальном времени) полагаются на наш кластер Kafka для запуска критически важных приложений с малой задержкой (менее 10 мс).
С AWS- под управлением Kafka (MSK) наша команда снизила повседневные накладные расходы Kafka на обслуживание и восстановление брокера, что позволило нам сконцентрировать время разработки на основных бизнес-задачах. Мы обнаружили, что масштабирование кластеров Kafka и обновление брокеров до последней версии Kafka просто и безопасно с помощью MSK. В этом посте описывается наша основная архитектура и полная экосистема инструментов, которую мы разработали для MSK.
Конфигурация и преимущества MSK
Конфигурация:
- TLS кластер с проверкой подлинности
- 30 узлов-посредников в нескольких зонах доступности для защиты от полного отказа зоны доступности.
- Поддержка нескольких кластеров
- ~ 17 ТБ хранилища / брокер
- Соглашение об уровне обслуживания 99,9% в месяц от AWS
Преимущества:
Поскольку MSK управляется AWS, одним из самых больших преимуществ является то, что мы можем избежать использования внутренних инженеров активно поддерживать узлы ZooKeeper / брокера. Это сэкономило нам более 100 часов инженерной работы, поскольку AWS беспрепятственно обрабатывает все обновления исправлений безопасности брокера, восстановление узлов и обновления версий Kafka. Все обновления брокера выполняются поочередно (за раз обновляется один узел брокера), поэтому никакие операции чтения / записи пользователей не затрагиваются.
Более того, MSK предлагает гибкие сетевые конфигурации. В нашем кластере действуют строгие правила входа в группу безопасности, в соответствии с которыми службы могут напрямую связываться с портами узла брокера ZooKeeper или MSK. Интеграция с Terraform позволяет беспрепятственно добавлять брокера, увеличивать дисковое пространство, обновлять конфигурацию нашего кластера без простоев.
Наконец, AWS предложила отличную поддержку MSK Enterprise, встречаясь с нами несколько раз, чтобы ответить на сложные вопросы, связанные с сетью и вопросы аутентификации кластера.
Производительность:
Мы уменьшили нашу сквозную задержку (e2e) (время, необходимое для создания, хранения и использования события) примерно на 95%, когда переключение с Kinesis (задержка e2e ~ 200 мс) на Kafka (




