github.com 最近 cepan というAWSコスト分析用のPythonライブラリを作りました。 これは何？ JupyterのようなNotebook上でAWSコストを分析するためのツールです。 boto3のCostExplorer APIをラップしたライブラリでデータをpandas.Dataframe形式でデータを返…

無駄にハマって時間を費やしたので備忘。 とあるCSVをパースするバッチをgolangで書いていて以下のようなコードを書いていた。 csv := strings.TrimRight(record, "\n") columns := strings.Split(csv, ",") でも上記のコードだと何故かcolumnsの最後の要素…

背景 goでagentを作っている yamlから設定を読ませる作りにした コンテナで動かすことも考えて、環境変数で設定差し込みたいなぁ 対応 ここに全て書いてあった。 go: Using environment variables in configuration files - M. Tarık Yurt ioutilでReadFile…

目的 Hiveによってデータを洗い替えする際の処理パターンを検討する はじめに Hive、というよりHDFSにおいてデータはimmutableな物として扱ったほうが良い。 パフォーマンスの観点から追記や更新を表現するような処理パターンは避けた方が無難である。 なぜ…

年の瀬なので2017年を振り返ってみる。 2017年の抱負 2017年は以下のような抱負を掲げていた。 今年は草を生やして行きたいです。— かんが (@kanga333) 2016年12月31日 実際はどうだったかというと 微妙な結果だ。 反省 今年は2度のタイミングで"Write Code …

あらすじ こんな便利な時代に自前でPostgreSQLを立てる必要が出た。悲しきオンプレのさだめよ。 当方PostgreSQL素人なのでいちから構築手順をメモしていく。 要件 ミドルウェアが利用するPostgreSQLでそんなにパフォーマンスも容量もいらない。 でも、ちゃん…

あらすじ 私の所属する会社は未だバリバリにkyoto tycoon(kt)というkvsを使っている。 このktをいっちょDocker化したるか！と思ったら色々ハマったので備忘兼ねて記録を残す。 すでにDockernizeしてる人がいた ネットを漁ると、すでにDocker化している方がい…