LogstashからElasticsearchへログ等の時系列データを送信する際に、インデックス数、シャード数の考慮により週次でのindexローテーションとすることがある。 単純にYYYY.MM.ddからYYYY.wwとするだけでは、年またぎのタイミングで想定外のindexが作成されるこ…

※本記事の内容は古いです。pipelines.ymlでパイプライン分割する方法を推奨します。 www.elastic.co - pipeline.id: my-pipeline_1 path.config: "/etc/path/to/p1.config" pipeline.workers: 3 - pipeline.id: my-other-pipeline path.config: "/etc/differ…

LogstashでFluentd(td-agent)のforestプラグインとcopyを組み合わせたものと同様の設定をしてみる。これにより、ログ種別、送信元が増えていっても出力設定を都度追加することなく、簡素化できる。 また、Logstashは日本語情報が少ないため、少しでも日本の…