자주쓰는 Kafka 명령어

명령어

• 카프카 컨슈머 그룹 오프셋 리셋
  kafka-consumer-groups.sh –bootstrap-server {브로커정보} –group {그룹명} –topic {토픽명} –reset-offsets –to-earliest –execute
• 카프카 컨슈머 그룹 오프셋 00만큼 이동
  kafka-consumer-groups.sh –bootstrap-server {브로커정보} –group {그룹명} –reset-offsets –shift-by -{이동하고자 하는 값} –topic {토픽명} –execute
• 카프카 컨슈머 그룹 오프셋 확인
  kafka-consumer-groups.sh –bootstrap-server {브로커정보} –group {그룹명} –describe
• 카프카 토픽 컨슈머(조회)
  kafka-console-consumer.sh –bootstrap-server {브로커정보} –topic {토픽명} –from-beginning
• 카프카 토픽 그룹 확인
  kafka-topics.sh –bootstrap-server {브로커정보} –topic {토픽명} –list
• 카프카 토픽 리스트 확인
  kafka-topics.sh –list –bootstrap-server {브로커정보}

 

나같은 경우에는 현재 컨슈머를 주로 만들었기 때문에 컨슈머 명령어 위주로 정리를 하였다.

프로젝트를 진행하면서 주로 많이 쓰는 명령어는 바로 오프셋 리셋, 컨슈머 그룹 오프셋 확인 명령어를 주로 사용하였다

그 이유는 퍼블리셔를 내가 만들지 않았기 때문에 "개발"단계에서는 데이터 전송을 매번 요청할 수가 없다. 

그렇기 때문에 한번 땡긴 뒤에 다시 오프셋을 reset하여 새로 데이터를 다시 가져와 보고 이런식으로 작업을 하였다.