無駄にハマって時間を費やしたので備忘。 とあるCSVをパースするバッチをgolangで書いていて以下のようなコードを書いていた。 csv := strings.TrimRight(record, "\n") columns := strings.Split(csv, ",") でも上記のコードだと何故かcolumnsの最後の要素…

背景 goでagentを作っている yamlから設定を読ませる作りにした コンテナで動かすことも考えて、環境変数で設定差し込みたいなぁ 対応 ここに全て書いてあった。 go: Using environment variables in configuration files - M. Tarık Yurt ioutilでReadFile…

目的 Hiveによってデータを洗い替えする際の処理パターンを検討する はじめに Hive、というよりHDFSにおいてデータはimmutableな物として扱ったほうが良い。 パフォーマンスの観点から追記や更新を表現するような処理パターンは避けた方が無難である。 なぜ…