MIThinker: A Plug-and-Play Policy-Optimized Thinker For Motivational Interviewing Counseling
Abstractの概要
本論文は、応答を生成する前に動機づけ面接（MI）カウンセリングのための明示的な治療的思考を生成するように設計された軽量な推論モデルであるMIThinkerを提案しています。この手法は思考生成と応答生成を分離し、生成された思考が汎用的なバックボーン大規模言語モデル（LLM）をガイドして、戦略の選択やMIに合致した応答の構築を行えるようにします。アノテーションされたカウンセラーの思考データが不足している中で教師データを作成するため、著者らはAnnoMIデータセット内の実際の応答からカウンセラーの推論をリバースエンジニアリングし、思考を反復的に改善する自動化パイプライン「AugR1-MI」を構築しました。その後、MIThinkerは教師あり微調整（SFT）で訓練され、フォーマット、整合性、妥当性に関する報酬を用いた強化学習によって最適化されます。評価には、自動化されたMIコンピテンシー指標、シミュレーションセッションでの成功率、および生成された思考とカウンセリングセッション全体に対する専門家の評価が含まれています。
新規性
本研究の主な新規性は、最終的な応答とは別にセラピスト独自の推論を生成する、動機づけ面接のためのプラグアンドプレイ型かつドメイン特化型の思考ポリシーです。また、専門家による直接的な思考アノテーションを必要とせずに、リバースエンジニアリングにより大規模なカウンセラー思考の教師データを構築するパイプライン「AugR1-MI」を導入した点も新規です。
成果
自動評価および専門家評価全体を通して、MIThinkerを活用したエージェントであるMindfulMIは、CAMIのような強力な先行システムと同等レベルのMIコンピテンシーを達成しつつ、計算量とターンごとのレイテンシを大幅に削減しました。強化学習は教師あり微調整単独の場合よりもMI行動の指標を向上させ、専門家による評価では、正解（オラクル）思考とMIThinkerが生成した思考との間に有意な差は見られませんでした。
論文の注目点
- MIThinkerは、心の理論、動機づけ面接、および行動変容ステージの推論に基づいた構造化されたカウンセラーの思考を生成し、その思考を用いて独立した応答モデルを導く。
- AugR1-MIパイプラインは、リバースエンジニアリングと反復的な改善を通じて、110のAnnoMIセッションにおける2,322の文脈・応答ペアから31,444の正解（オラクル）思考を導き出す。
- MindfulMIは優れたMI行動スコア、競争力のあるMI総合評価やセッション成功率を示し、より重いモジュール方式のモデルよりも著しく高い効率性を示すが、一部の成功率の基準や対話トピックの探索においては依然としてCAMIの方が優れている。