小技

日々の仕事の中で調べたり発見したりしたことを書き留めていくブログ

Kibana REST API を DevToos のコンソールで実行する

DevTools のコンソールでは、ログインしたユーザーの権限で Elasticsearch の API を実行できるので便利です。 しかし、以下のようにエラーになってしまうことがあります。 GET /api/data_views # レスポンス { "error": "Incorrect HTTP method for uri [/a…

Elasticsearch のドキュメント更新をすっきり理解する

Elasticsearch におけるドキュメントの更新は、ドキュメントの登録の場合と同じく、いくつかやり方がありそうです。 こちらも自分なりに調べた結果をまとめてみます。 Index API の _doc エンドポイント 前回の記事で調べた通り、_doc エンドポイントでは既…

Elasticsearch へのドキュメント登録をすっきり理解する

Elasticsearch を利用するにあたり、ドキュメントの登録の仕方を調べようと思ってググってみると、いろいろな記述が見つかります。 どうやらやり方はいくつかありそうなものの、リクエストのメソッドは PUT と POST、どちらにするのが良いのか、ドキュメント…

q で正しいカラム名を指定しても "no such column" というエラーが出るときの対処

q

q コマンドで CSV ファイルの解析を行っていたところ、下記のようなエラーが出力されることがありました。 $ q -O -H -d , 'select timestamp, username, remotehost from test.csv' query error: no such column: timestamp Warning - There seems to be a …

jq で JSON オブジェクトのキーをソートする

jq

複数の JSON データを作成する中で、途中でオブジェクトのキーの並びが変わってしまった! $ cat sample_a.json { "key0": "a0", "key1": "a1", "key2": "a2" } $ cat sample_b.json { "key0": "b0", "key2": "b2", "key1": "b1" } そんなことが実際に起こり…

jq で オブジェクトのキーまたは値を取得する

jq

前回の記事 の中で、オブジェクトの全てのキーや値を取得する方法に触れました。 やり方がいくつかありそうだったので、まとめてみました。 オブジェクトの全てのキーの取得 下記のような JSON に対して、keys 関数を用いることで、キーの一覧を取得できます…

jq で CSV 出力する

jq

jq を使って JSON を整形したところから、CSV 出力するまでに意外と手こずることが多いので整理してみました。 CSV 出力自体は、フィルタの末尾に | @csv をつけるだけで容易に行うことができます。 そう思って、下記のような JSON からそのまま CSV 出力し…