Новости
Михаил Кобик, директор департамента разработки и управления инфраструктурными решениями, выступил спикером открытого вебинара «Извращения с Apache Kafka: забавный кейс из жизни» в инженерной школе «Слёрм».
Знакомство менеджмента школы с Михаилом Кобиком в рамках конференции DevOpsConf, продолжилось приглашением последнего выступить спикером на обучающем мероприятии по Kafka - распределённому программному брокеру сообщений, с открытым исходным кодом, разрабатываемый в рамках фонда Apache. Михаил не раз использовал систему в своих проектах, и потому согласился с удовольствием.
На вебинаре он рассказывал о реальном кейсе, в котором Apache Kafka использовался нестандартным образом. Суть кейса в следующем: клиентский проект. Десятки тысяч устройств передают бинарные данные в систему. Их необходимо принимать, расшифровывать, валидировать, определять, имеет ли право конкретно это устройство отсылать данные в систему и, если да, то сохранять. По собранным данным требуется выгружать отчёт.
Выбор Apache Kafka был обусловлен высокой нагруженностью проекта из-за большого количества операций. В подобных условиях инструмент работает быстро, надёжно, легко масштабируется. Немаловажно, что Apache Kafka прост в эксплуатации и обеспечивает удобный доступ к неструктурированным данным в Data Lake. Препятствием бесперебойной работы стали изменившиеся требования госрегулятора. Новые требования предписывали хранить данные в течение 5 лет и регулярно выгружать отчёты за конкретные промежутки времени. Kafka, на первый взгляд, оказалась для этого не приспособлена.
Решению возникшей проблемы Михаил посвятил свое выступление на вебинаре:
«Я убеждён, что часто стандартные инструменты можно использовать неожиданно, добиваясь очень высокой эффективности и решая разнообразные задачи.»
Михаил отмечает, что преподавание для него — не новый опыт, у него педагогическое образование, а вебинар в школе «Слёрм» позволил поделиться с коллегами необычным подходом к популярному и полезному инструменту и, возможно, помочь кому-то посмотреть на свои задачи под новым углом.
Вебинар посетило около 250 человек, посмотрели в записи — более тысячи.
Учебный центр «Слёрм»
Созданная более четырёх лет назад школа для инженеров и технических специалистов «Слёрм» — это лицензированное учреждение дополнительного образования. Каждый спикер «Слёрма» – это опытный специалист крупной российской или зарубежной компании. Успешно завершившие обучение получают диплом государственного образца. Каждый курс рассчитан на получение результата и включает очень много практики.