データ分析

正答率の改善と
判断理由が伝わる分析

スマートビリングサービス株式会社の長期インターンで、支払いの有無を予測する未収分析に取り組みました。手法の比較と入力項目の見直しを重ね、同じ検証条件で正答率を約60%から90%超へ改善しました。

所属
スマートビリングサービス株式会社 長期インターン(2025年10月〜)
期間
試行錯誤に約1か月
取り組み
手法の比較、入力項目の見直し、判定理由の表示
現状
業務での活用に向けた検証段階
  • 約30種類

    調べた
    学習方法の概数

  • 約10種類

    候補を絞り
    実際に試した手法

  • 40超→12

    見直しの過程で
    整理した入力項目

  • 90%超

    最終検証での
    支払い有無の正答率

取り組みの流れ

行き詰まるたびに調べ直して試す約1か月の試行錯誤を、4つの段階に分けて紹介します。

  1. 出発点 約60%

    大学で学んだ統計から始める

    大学で学んだ統計の知識(重回帰)を使って予測を始めました。正答率は約60%で、社内の評価は業務で使うには不十分というものでした。

  2. 比較 約80%

    約30種類を調べ、約10種類を試す

    学習方法を調べて特徴を確認し、候補を絞って実際に比べました。LightGBMで約80%まで改善しましたが、まだ十分ではありませんでした。

  3. 見直し

    相談し、入力する情報を見直す

    業務の具体的な内容を伏せて教授に相談し、入力する情報の多さや関連性を見直しました。項目の重要度を確認し、40種類を超えていた入力項目から主要な16種類を把握、重複などを整理して12種類にしました。

  4. 到達 90%超

    検討を重ね、説明できる形に

    その後も検討を重ね、正答率90%超に到達。社内で仕組みの説明を求められたことをきっかけに手法を学び直し、一件ごとの判定理由を上位3要素で表示しました。

検証

同じ検証期間と同じ指標で比べる過去のデータで学習し、その後の期間の支払い実績と照合しました。

  • 基準を意識する未収は全体の約2割。比率から計算すると、全件を「支払う」と判定するだけでも約8割になります。最終の90%超は、この計算上の基準を上回りました。
  • 企業ごとに確かめる全体では少数に埋もれがちな未収も、企業ごとに分けて確認しました。各企業で見ても正答率は9割近くでした。
  • 数字の意味を区別する正答率は支払い有無の判定についての値です。回収率や、実際の回収額の増加を示すものではありません。
支払い有無の正答率の推移同じ検証期間・同じ指標で比較
支払い有無の正答率
段階正答率
重回帰約60%
LightGBM約80%
入力項目の見直しと検討を重ねた最終段階90%超
全件「支払う」と判定した場合(計算上)約80%

基準:全件を「支払う」と判定した場合(未収比率からの計算、約80%)

数値は過去データを用いた検証時の本人の記録に基づく概数です。

利用者の反応と次の課題

数字に加えて判断の理由が伝わる形へ検証で利用した方からは、対応の優先順位を考えやすくなったという反応を得ました。

次の課題

未収につながる要因を示すだけでなく、具体的な対応策まで示せるようにすることです。現在も検証段階で、実際の回収額の増加や作業時間の削減は未検証です。

この経験で身につけた行動

結果を見て次の一手を変える

試行を変える

結果を見て次の試行を変える

約10手法の比較と、約80%で止まった後の入力項目の見直し。

学び直す

助言を取り入れて自分で理解し直す

教授への相談と、社内で仕組みの説明を求められたことをきっかけにした学び直し。

評価条件

評価の条件を意識する

過去のデータで学習し、その後の期間で支払いを確かめる検証。

伝わる形

利用者に結果が伝わる形へ整える

一件ごとの判定理由を上位3要素で表示し、利用者の反応を得た。

限界を区別

限界と残る課題を区別する

検証段階であること、回収への効果は未検証であることを分けて伝える。