High Level Consumer Failure in Kafka -

मेरे पास निम्न कफ़ा सेटअप है

  निर्माता की संख्या: 1 विषयों की संख्या: 1 विभाजन की संख्या: 2 उपभोक्ताओं की संख्या: 3 (एक ही समूह आईडी के साथ) काफ़का क्लस्टर की संख्या: कोई नहीं (एकल कफका सर्वर) ज़ूकिपीर सत्र। टाइमआउट: 1000 उपभोक्ता प्रकार: हाई लेवल उपभोक्ता  

निर्माता बिना किसी विशिष्ट विभाजन तर्क (डिफ़ॉल्ट विभाजन तर्क) के संदेश बनाता है उपभोक्ता 1 को लगातार संदेश खपटा जाता है मैं अचानक उपभोक्ता को मार रहा हूं 1 और मैं उपभोक्ता 2 या उपभोक्ता 3 को छोड़कर उपभोक्ता 1 की विफलता के बाद संदेशों का उपभोग करना चाहता हूं।

कुछ मामलों में पुन: संतुलन होता है और उपभोक्ता 2 संदेशों को उपभोग करना शुरू करते हैं यह बिल्कुल ठीक है लेकिन कुछ मामलों में उपभोक्ता 2 या उपभोक्ता 3 सभी उपभोक्ता नहीं हैं मुझे सभी उपभोक्ताओं को मैन्युअल रूप से मारना होगा और सभी तीन उपभोक्ताओं को फिर से शुरू करना होगा। उपभोक्ता 1 को पुन: प्रारंभ करने के बाद ही फिर से उपभोग शुरू होता है।

कुछ मामलों में ठीक से पुन: संतुलन सफल होता है, जबकि कुछ मामलों में पुन: संतुलन सफल नहीं होता है। क्या कोई भी कॉन्फ़िगरेशन है जो मुझे याद आ रहा है।

काफ्का उच्च स्तरीय उपभोक्ताओं के समन्वय के लिए ज़ूकिपर का उपयोग करता है

से:

विभाजन मालिक रजिस्ट्री

प्रत्येक दलाल विभाजन का उपभोग उपभोक्ता समूह के भीतर एक उपभोक्ता द्वारा किया जाता है। उपभोक्ता को किसी भी उपभोग को शुरू करने से पहले किसी दिए गए विभाजन के स्वामित्व को स्थापित करना होगा। इसकी स्वामित्व स्थापित करने के लिए, एक उपभोक्ता विशेष दलाल विभाजन के तहत एक अल्पकालिक नोड में अपना आईडी लिखता है। यह दावा है।

/ उपभोक्ता / [group_id] / मालिक / [विषय] / [broker_id-partition_id] - -> उपभोक्ता_एनोड_आईडी (तात्कालिक नोड)

एक ज्ञात अल्पकालिक नोड्स का कहना है कि जेड क्लायंट के अचानक खाली होने के बाद वे 30 सेकंड तक रह सकते हैं:

अगर आप उपभोक्ता 2 और 3 को # 1 समाप्त होने के तुरंत बाद संदेश पढ़ने शुरू करने की उम्मीद करते हैं तो इस पर चलना होगा।

आप यह भी देख सकते हैं कि / उपभोक्ता / [समूह_आईडी] / मालिक / [विषय] / [broker_id-partition_id] में पुन: संतुलन के बाद सही डेटा है।