[TIL] fluentd & NGINX

다 설정하고 나니까 이런 에러가 로그에 남아있다

\[types removal\] Specifying types in bulk requests is deprecated.

이것은 대체 무슨 로그?
https://www.elastic.co/guide/en/elasticsearch/reference/master/removal-of-types.html#_why_are_mapping_types_being_removed

엘라스틱 서치 버전8부터는 mapping type이 없어진다고 한다. 아마 엘라스틱서치 어딘가에서 mapping type을 계속 쓰고있어서 그런것 같다. 아니면 내 fluentd 설정인가?
이런 저런 이유라는데...어 읽어도 잘 모르겠다 지금은: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/removal-of-types.html

nginx access.log -> fluentd -> elasticsearch

http://hongsa.github.io/fluentd/
여기 config 는 한글로 잘 되어있음. 참고

fluentd regex parser

검색하면 여기가 제일 먼저 뜨는데, 신뢰는 안간다. https://fluentular.herokuapp.com/
나는 같은 ruby를 사용하는 ruby regex tester를 추천한다. https://rubular.com/

custom field를 추가했을 때 grafana에서 search 가 되지 않는 현상

Kibana에서 index를 생성하고 넘어올 때, 꼭 이 부분을 체크해야 된다.
https://discuss.elastic.co/t/in-kibana-i-have-fields-that-contains-a-question-mark-not-showing-in-metric-field/146017/2

nginx request_time 의 의미가 헷갈렸다

https://forum.nginx.org/read.php?2,269720,269721#msg-269721
그냥 request_time 의 값은 이미 seconds로 이해하면 된다.