Know You Before You Speak: User-State Modeling for LLM Personalization in Multi-Turn Conversation
Abstractの概要
本論文は、マルチターンの対話におけるパーソナライゼーションを部分的に観測可能な意思決定問題と位置づけ、システムは明示的なユーザー履歴を再利用するだけでなく、隠れたユーザーステート（状態）を推論すべきであると主張している。本論文では、潜在的なユーザーステートに対する信念（belief）を保持し、ユーザーステートの遷移と観測生成のための行動条件付き世界モデルを学習し、期待自由エネルギーを最小化することで対話行動を選択するフレームワークであるPUMAを提案している。また、この手法は潜在的なユーザーステートの追跡と意味記憶の検索を分離し、記憶をコンテンツのグラウンディング（根拠付け）に使用する一方で、状態モデリングを計画や制御のために確保している。実験は、医療指向のカウンセリングおよび動機づけ面接の設定で行われ、これにはCAMIにおけるシミュレーターベースの動的評価と、AnnoMIにおけるクロスデータセットの汎化研究が含まれている。
新規性
最も特徴的な貢献は、明示的な記憶や静的なペルソナではなく、変化していく潜在的なユーザーステートをパーソナライゼーションの中心的対象としたことである。PUMAは自由エネルギー原理を対話に適用し、行動条件付きユーザーステートのダイナミクスにわたって、信念の更新、世界モデルの改良、および期待自由エネルギーに基づく行動選択を統合的に実行する。
成果
CAMIにおいて、PUMAはQwen3-8BおよびLlama-3.1-8Bバックボーンの双方において、報告された自動化手法の中で最も強力な動的カウンセリング性能を達成しており、例えばQwen3-8BではLift/Prep/TrigCov/Turnsが1.62/75.9%/62.4%/12.2、Llama-3.1-8Bでは1.76/83.0%/63.2%/10.7に達した。また、自動化手法の中で報告された最高のMITI平均（Qwen3-8Bで4.37、Llama-3.1-8Bで4.27）を獲得しており、アブレーション分析により信念追跡、世界モデリング、期待自由エネルギーに基づく計画のそれぞれが性能向上に寄与していることが示された。状態モデリングの点でも、PUMAはCAMIでのベースラインと比較して現在および次の状態の推定精度を向上させ（0.689と0.717）、AnnoMIでのクロスデータセット評価でも長いプロンプトを用いるベースラインを上回った（Qwen3-8Bで現在の状態の精度0.639、次の状態の精度0.532）。
論文の注目点
- PUMAは、プロファイルや記憶の検索にのみ依存するのではなく、明示的な潜在的ユーザーステートの信念と行動条件付き世界モデルを使用して、パーソナライズされた対話をモデル化する。
- 本フレームワークは、期待自由エネルギーを用いることで、ユーザーに関する不確実性の低減と目標指向の対話結果の獲得とをバランスよく両立させる行動を選択する。
- 実証的評価により、PUMAは対話が長期にわたるカウンセリングの有効性を向上させ、評価基準に基づく高い応答品質を維持し、報告されたベースラインよりも高い精度でユーザーステートの推定および遷移予測を行うことができると示された。