Tuesday, February 18, 2020

Kibana 7.5: ошибка отображения данных

Всем привет.
Столкнулся с проблемой построения данных в кибане при отображении дашборда за 7 дней и более. При том, что возникает не во всех дашбордах.
Ошибка звучит так:
Error in visualization
[esaggs] > Request to Elasticsearch failed: {"error":{}}         


Предположение: очевидное, но тем не менее - esaggs – это агрегации. Значит какие-то агрегации строятся и вызывают данную ошибку. При уменьшение интервала наблюдения до 5 дней, такой проблемы нет. Кроме того, график, который в рамках дашборда не отображается индивидуально открывается без проблем.

Начинаю анализировать на предмет "может есть какие-то логи в кибане, которые можно проанализировать на счет данной ошибки"?

Открываю логи эластика в режиме tail -f, логи Kibana:
tail /var/log/messages -f | grep kibana

Открываю дашборд на 10 дней. Запускаю обновление, смотрю сообщения о том, что происходит.Ошибок как таковых нет, все сообщения с ответом 200, все гут. Но не тут то было:
"res":{"statusCode":200,"responseTime":29929,"contentLength":9},"message":"POST /elasticsearch/apache*/_search?rest_total_hits_as_int=true&ignore_unavailable=true&ignore_throttled=true&preference=1581061538688&timeout=30000ms 200 29929ms - 9.0B"}
Есть такая тема как лимит ожидания, вот он то и виноват в этих сообщения. Есть визуализации, с двойными разрезами(split series) и фильтрами(filters), вот она и тормозит.
Нахожу в настройках эластика таймаут, увеличиваю:

# Time in milliseconds to wait for responses from the back end or Elasticsearch. This value
# must be a positive integer.
elasticsearch.requestTimeout: 40000

Сначала до 40 секунд, затем до 50. Зато теперь всплывают сообщения, что данные могут быть не полные, т.к. превышен лимит. Странно, что дефолтное значение мне про это не сказало.

В случае использования nginx'a, как прокси добавьте данные параметры:
proxy_connect_timeout       300;
proxy_send_timeout          300;
proxy_read_timeout          90m;
send_timeout                300;
 
client_max_body_size        1000m;


Успехов!

No comments:

Post a Comment