Перейти к основному содержанию
Перейти к основному содержанию

system.kafka_consumers

Выполнение запросов в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Поэтому для получения полного обзора всех данных требуется функция clusterAllReplicas. Подробности см. здесь.

Содержит информацию о потребителях Kafka. Применяется для движка таблиц Kafka (родная интеграция ClickHouse).

Столбцы:

  • database (String) — База данных таблицы с движком Kafka.
  • table (String) — Имя таблицы с движком Kafka.
  • consumer_id (String) — Идентификатор потребителя Kafka. Обратите внимание, что у таблицы может быть несколько потребителей. Задаётся параметром kafka_num_consumers.
  • assignments.topic (Array(String)) — Топик Kafka.
  • assignments.partition_id (Array(Int32)) — Идентификатор раздела Kafka. Обратите внимание, что только один потребитель может быть назначен на раздел.
  • assignments.current_offset (Array(Int64)) — Текущее смещение (offset).
  • assignments.intent_size (Array(Nullable(Int64))) — Количество отправленных, но ещё не зафиксированных сообщений в новом движке StorageKafka.
  • exceptions.time (Array(DateTime)) — Метка времени генерации 10 последних исключений.
  • exceptions.text (Array(String)) — Текст 10 последних исключений.
  • last_poll_time (DateTime) — Метка времени самого последнего опроса (poll).
  • num_messages_read (UInt64) — Количество сообщений, прочитанных потребителем.
  • last_commit_time (DateTime) — Метка времени самой последней фиксации (commit).
  • num_commits (UInt64) — Общее количество фиксаций (commit) для данного потребителя.
  • last_rebalance_time (DateTime) — Метка времени самой последней операции перераспределения (Kafka rebalance).
  • num_rebalance_revocations (UInt64) — Сколько раз у потребителя отзывали его разделы.
  • num_rebalance_assignments (UInt64) — Сколько раз потребитель назначался на кластер Kafka.
  • is_currently_used (UInt8) — Флаг, показывающий, используется ли сейчас потребитель.
  • last_used (DateTime64(6)) — Время последнего использования этого потребителя.
  • rdkafka_stat (String) — Внутренняя статистика библиотеки. Установите параметр statistics_interval_ms в 0, чтобы отключить; значение по умолчанию — 3000 (раз в три секунды).

Пример:

SELECT *
FROM system.kafka_consumers
FORMAT Vertical

Строка 1:
──────
database:                   test
table:                      kafka
consumer_id:                ClickHouse-instance-test-kafka-1caddc7f-f917-4bb1-ac55-e28bd103a4a0
assignments.topic:          ['system_kafka_cons']
assignments.partition_id:   [0]
assignments.current_offset: [18446744073709550615]
exceptions.time:            []
exceptions.text:            []
last_poll_time:             2006-11-09 18:47:47
num_messages_read:          4
last_commit_time:           2006-11-10 04:39:40
num_commits:                1
last_rebalance_time:        1970-01-01 00:00:00
num_rebalance_revocations:  0
num_rebalance_assignments:  1
is_currently_used:          1
rdkafka_stat:               {...}