試行を変える
結果を見て次の試行を変える
約10手法の比較と、約80%で止まった後の入力項目の見直し。
データ分析
スマートビリングサービス株式会社の長期インターンで、支払いの有無を予測する未収分析に取り組みました。手法の比較と入力項目の見直しを重ね、同じ検証条件で正答率を約60%から90%超へ改善しました。
約30種類
調べた
学習方法の概数
約10種類
候補を絞り
実際に試した手法
40超→12
見直しの過程で
整理した入力項目
90%超
最終検証での
支払い有無の正答率
「正答率」の定義
請求ごとに「支払う/支払わない」を判定し、実際の結果と一致した割合です。過去のデータで学習し、その後の期間の支払い実績と照合しました。
回収率や、未収をどれだけ見つけられたかを示す値ではありません。数値は検証時の本人の記録に基づく概数です。
取り組みの流れ
大学で学んだ統計の知識(重回帰)を使って予測を始めました。正答率は約60%で、社内の評価は業務で使うには不十分というものでした。
学習方法を調べて特徴を確認し、候補を絞って実際に比べました。LightGBMで約80%まで改善しましたが、まだ十分ではありませんでした。
業務の具体的な内容を伏せて教授に相談し、入力する情報の多さや関連性を見直しました。項目の重要度を確認し、40種類を超えていた入力項目から主要な16種類を把握、重複などを整理して12種類にしました。
その後も検討を重ね、正答率90%超に到達。社内で仕組みの説明を求められたことをきっかけに手法を学び直し、一件ごとの判定理由を上位3要素で表示しました。
検証
| 段階 | 正答率 |
|---|---|
| 重回帰 | 約60% |
| LightGBM | 約80% |
| 入力項目の見直しと検討を重ねた最終段階 | 90%超 |
| 全件「支払う」と判定した場合(計算上) | 約80% |
基準:全件を「支払う」と判定した場合(未収比率からの計算、約80%)
数値は過去データを用いた検証時の本人の記録に基づく概数です。
利用者の反応と次の課題
次の課題
未収につながる要因を示すだけでなく、具体的な対応策まで示せるようにすることです。現在も検証段階で、実際の回収額の増加や作業時間の削減は未検証です。
この経験で身につけた行動
試行を変える
約10手法の比較と、約80%で止まった後の入力項目の見直し。
学び直す
教授への相談と、社内で仕組みの説明を求められたことをきっかけにした学び直し。
評価条件
過去のデータで学習し、その後の期間で支払いを確かめる検証。
伝わる形
一件ごとの判定理由を上位3要素で表示し、利用者の反応を得た。
限界を区別
検証段階であること、回収への効果は未検証であることを分けて伝える。
ほかの経験