1. Со стороны consumer-а. Топик очень высоконагруженый. 8 партиций. Хотим масшрабироваться на стороне consumer-а, читать сообщения побыстрее. Какой способ? Чтобы читать сообщения с одной бизнес-логикой несколькими Spring-приложениями
#
2. Три машины в кафке и одна упала. Что с нашей инфой? Инфа постарадает?
#
3. Было 2 сервиса (producer, consumer), общались по Kafka. Consumer на каждое сообщение должен проходить большой процесс обогащения, поэтому стали копиться сообщения. Решили в двух pod-ах поднять consumer. Но второй pod не видит сообщений. В чем проблема?
#
4. Если у нас несколько брокеров как будут распологаться partition?
#
5. У нас есть n partition. Есть ли смысл настроить Spring приложение для увеличения partition?
#
6. Consumer group. 10 партиций и консьюмеры не справляются. Что делать?
#
7. Есть producer, consumer, consumer record. Consumer record несет в себе key-value. Есть топик, в нем 3 партиции. Мы продьюсим сообщения. Вкакую патртицию попадают сообщения? По каким принципам?
#
8. Топик и 3 партиции. Мы создаем одного consumer-a. К каким партициям прицепится consumer? - цепляется ко всем 3 партициям. Создаем еще одного consumera. С такой же group id. И цепляем его к такому же топику. Он тоже подцепится к этим трем партициям? - Kafka ребалансируется, один консьюмер получит 2 партиции, а второй консьюмер получит 1 партицию
#
9. Есть 5 консьюмеров. Хотим ими параллельно читать из Kafka, чтобы каждому доставались уникальные сообщения. Можно ли такого достичь?
#
10. Есть два сервиса, им нужно общаться между собой. Два топика. Что должно быть реализовано на сервисах?
#
11. Есть consumer group c одним consumer-ом и топик с одной партицией, есть задержка в чтении как можно исправить?
#
12. Есть брокер и сервис который отправляет в него сообщения. Нужно сделать чтобы сообщения отправлялись всегда даже при сбое, потере питания и т.д
#
13. Несколько микросервисов читают из одного топика. Как обеспечить, что один топик, один producer и 3 consumer-а, и все 3 гарантированно должны забрать одно и то же сообщение?
#
14. Возможно в Kafka послать сообщения так, чтобы они были получены в том же порядке, как отправлены?
#
15. Один сервис продуцирует сообщеня, по сути является продьюсером. Публикует результаты экзаменов учеников. Есть 3 системы, которые потребляют сообщения. Сколько нужно сделать Топиков и Партиций? Если сделаем 1 партицию, что случится? А если 10?
#
16. Возможно обрабатывать несколькими консьюмерами одну партицию?
#
17. Как на стороне консьюмера обрабатывать сообщения, чтобы не обрабатывать дубли?
#
18. Консьюмер отвалился, продьюсер есть, сообщения идут в топик. Консьюмеров на топике нет. Потеряются ли сообщения? Когда консьюмер поднимется, придут ли к нему пропущенные сообщения?
#
19. Consumer не существует. Топик существует, Продюсеры что-то туда откидывают. Создаю нового Консьюмера. Есть ли возможность получить все сообщения, которые были до этого? Скажем так, остались в этом Топике
#
20. Консьюмер подключился к Топику и считывает сообщения. В одном из сообщений вылетело необработанное исключение. Что будет с ним?
#
21. 1 продьюсер, 1 топик, 2 консьюмера. Продьюсер посылает ивент. Кто из консьюмеров получит ивент?
#
22. Что делать если у нас 1000 listener в kafka?
#
23. Есть топик. 2 партиции. Отправляем одно сообщение. Есть два потребителя. Есть два варианта. Первый, у них одна консьюмер группа. Второй, у них разные консьюмер группы. В каком случае оба микросервиса прочитают одно и тоже сообщение.
#
24. Что будет если консьюмеров будет больше чем партиций?
#
25. Что будет если партиций будет больше чем консьюмеров?
#
26. 1000 сообщений в секундку, как нам определить, что пришедший ответ из kafka тот, который нам нужен.
#
27. Можно в RabbitMQ послать сообщение напрямую или нужно вводить промежуточные сущности?
#
28. Как будет вести себя консьюмеры, если количество консьюмеров меньше чем количество партиций в топике? А если 10 Консьюмеров а Партиций пять. Как распределятся?
#
29. Несколько Consumer в группе читает из одного Топика. Какой то Consumer отказал. Нужно чтобы другой Consumer стал читать из Топика вместо отказавшего.
#
30. Есть Consumer зависает, какие последствия могут возникнуть?
#
31. Если два контейнера будут в одной сети, какие будут проблемы?
#
32. Есть однопоточный лиснер Kafk-и, но нужно параллельно обрабатывать то, что оттуда приходит. Как бы ты это сделал? Нельзя использовать батчевый лиснер Kafk-и
#
33. Нужно, чтобы один консьюмер всегда обрабатывал один и тот же тип сообщений. Как реализовать?
#
34. У нас 4 партиции и 4 консьюмера. Потом добавляется еще один Консьюмер. Что будет?
#
35. Два топика, три партиции, два консьюмера из одной группы. Как распределятся партиции по консьюмерам?
#
36. Что если выставил batch size условно 10 кб. В итоге рейт очень маленький. Пишешь по одному сообщению в минуту. Как это исправить?
#
37. Есть Консьюмер группа. 2 консьюмера читают из топика из 4 партиций. Что произойдет если один из консьюмеров в группе сдохнет?
#
38. Можно сделать, чтобы несколько консюмеров читали несколько партиций?
#
39. У тебя 3 партиции и 1 консюмер. В первую ты закидываешь миллион, во вторую тысячу сообщений, а в третью десять. Как будет происходить чтение этим консюмером?
#
40. K8s, контейнеризированное приложение. Есть Kafka топик, в нем 40 партиций. Есть сервис, поднят один под. Ты захотел сделать 5 подов. У всех 5 подов одна консьюмер группа. Все они подписаны на этот топик Kafka. Какой под из какой партиции будет читать?
#
41. We have one topic. Producer produces temperature updates into topic. On the other side we want to have one app that reads temp updates and shows them. And second app that also reads the same temp updates and send the email. We want both apps to recieve all the updates. What should we do?
#
42. What should you do if you want to create Load Balancer: we want to have 3-4 apps that can process tasks from one topic? Different apps should process different messages. How many partitions? How many consumer groups?
#
43. Если нужно сделать паузу в Consumer Kafka, что использовать? Как остановить Consumer на 5 сек? Какие способы остановки потока знаешь? Какой будет хороший?
#
44. В Consumer Group большой лаг. Как будешь исследовать проблему? В топике 1 млн невычитанных сообщений, и их количество только увеличивается
#
45. Есть топик, в который публикуется информация, которая нужна разным микросервисам. Если два микросервиса оба подключатся, как сделать так, чтобы каждое сообщение попало в каждый микросервис. Как правильно объединить или не объединять в консьюмер группу в этом случае?
#
46. Система публикует статусы заказа: создан, оплачен, еще что-то. Второй сервис принимает сообщения, у него консьюмер группа из двух консьюмеров, которые поделили партиции топика на себя. В продьюсере создали заказ, отправили сообщение - оно попало первому консьюмеру. Создали второе сообщение по этому же заказу - оно попало второму консьюмеру, который оказался быстрее, чем первый. И сообщения прочитались в неверном порядке. Как этого избежать?
#