Webやシステム業界においては、プロジェクトの仕様をまとめた”要件定義書”なるものがある。
ネットで”要件定義書”と検索すれば出てくる。
しかし、データ分析においてはどうだろうか？
先日行ったデータ分析のプロジェクトで私自身がミスった経験を踏まえて、独自の要件定義書（案）を作成しました。
データ分析請負時のミス
「またこれお願いできますか？」といった感じで始まったリピートのお客様のデータ分析。
私も「あの方の案件なら大丈夫だろう、と、大体10時間でできると思いますよ」と即答。
しかし、実際に作業を進める中で、取得データの範囲が変わったり、広がったりで、頭の中の整理もプログラムの整理も....混沌...
完全に甘く見ていた私のミスです。結局30時間近くかかりましたが、私の初回確認不足が悪いので、20時間は大島の自己負担。
データ分析の要件定義・例
一般的な要件定義は、Google.com などでも紹介されている。
これをデータ分析用にアレンジ。
概要
- 目的：例）過去5年分の株価を収集し、独自の係数で換算したい
- 成果物： 例）５００名柄分のCSVファイル
- 元データ： 例）Yahoo!API
- 開発環境： 例）Google Colab
- 開発言語； 例）Python 3.6.7
- 使用ライブラリ： 例）Pandas、 yfinance
- 共有データの取り扱い： 例）Google Cloud
- 情報連絡： 例）Slack
- プログラムの共有： 例）Google Colab
- 納品後の保守： 例）基本的に当方ではいたしません、別途要相談
- プログラム・レベル： 例）スピード重視しない、読みやすいコードの方がいい
データについて
- 株価の通貨：日本円
- 小数点以下：切り捨て
- タイムゾーン：日本時間
- 株価取得できない場合：空白（その他に None など）
- フォーマット：別紙添付の行列で株価データを記載
要件が変わる場合
- データ収集の過程で”要件（ニーズ）”が変わる場合もあります。
その際は追加で要件定義を行い、別途作業代が発生いたしますこと、予め、ご了承願います。
リスク
- 株価データは、Yahoo!API に担保されます。 Yahoo!ファイナンス と Yahoo!API（Yahoo!Finance） の株価では異なるケースもあります。
（例： Ticker: 3687 2017.04 の株価、 Yahoo!ファイナンス ・ Yahoo!Finance）
- Google Drive上の共有データは、ダウンロードして、手元のパソコンにも保管ください。消去して消える可能性もあります。
データ分析の仕事を受発注する上で
一つのシート上のデータを分析、加工する分は問題ないかもしれませんが、複数のシートのデータを混ぜて処理する場合は、計算過程で思わぬ事態が発生することもあります。
そうした場合でも業務を遂行するためには、双方の目的のコンセンサスが重要に。
こまめにメールやSlackを確認しあい、間違った処理を行わない、間違っていた場合でも早期に止める、そうした環境が重要と思います。
またとりあえずデータ分析してみて、その結果を元にまた分析、というパターンは要注意。結果を見てみないと次が判断できない場合は、焦らずにワンステップずつ業務をこなしていくことが、お互いのために大事と言えるでしょう。
これらの注意点を気にせずプロジェクトを進めると、プログラムのやり直しや、「あれ、思っていた結果と違う」となりかねません。