2025年11月1日
今週の活動
- 特徴量の追加対象となるレコード数を最大3000個から最大5000個に増やした
- 交差検証時の評価指標の変化が小さくなり、誤差が減少
- レビューの労力削減効果をCost-Benefit Curveを描いて確認
- 労力削減効果の最も単純な測定方法として、最大5000件のコミットを全てレビュー対象とし、それぞれのレビューに必要な労力は同じであるとする
- レコードを陽性クラスの予測確率の降順に並べ、陽性クラスである可能性が高いものから順にレビュー
- コミットをレビューした数に対する、実際に陽性クラス（欠陥）であった数を測定し、積み上げ折れ線グラフを描く
得られた成果
- 特徴量追加後のデータセットを、ベースラインのデータセットと比較したときの、より正確な評価指標と視覚的なデータを得られた
直面した課題
- Cost-Benefit Curveの実装における前提条件が、実際のレビュー方法と乖離
- 現在の実装
- 実際のレビュー方法との違い
- コミットサイズを無視しており、小規模な変更と大規模な変更が同じ労力として扱われる
- 実際のレビュー労力は変更行数、変更ファイル数、複雑度に比例するはず
- リファクタリングと新機能の実装が同じ労力として扱われる
- 小規模なリファクタリングであれば、新機能の実装よりもレビュー労力が小さいはず
- 逆に大規模なリファクタリングは小規模な新機能の実装よりもレビュー労力が大きい可能性がある
来週の計画
- レビュー労力を評価するための重み付きの計算式を考える