論文の概要: Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations
- arxiv url: http://arxiv.org/abs/2608.12062v1
- Date: Wed, 12 Aug 2026 13:48:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.596858
- Title: Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations
- Title（参考訳）: 優先木最適化:ルックアヘッドシミュレーションによるゴール指向対話の強化
- Abstract要約: 本研究は,PTO(Preference Tree Optimization)と呼ばれる新しいフレームワークを提案する。
PTOは、目標指向対話システムにおけるエージェントモデルの改善を反復的に行うように設計されている。
仮想患者とオラクル評価器を利用して会話をシミュレートし、リッチな嗜好データセットを生成する。
- 参考スコア（独自算出の注目度）: 2.4615755100550984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing dialogue systems capable of engaging in multi-turn, goal-oriented conversations remains a significant challenge, especially in specialized domains with limited data. This research proposes a novel framework called Preference Tree Optimization (PTO), designed to iteratively improve agent models in such dialogue systems, by generating preference data using a method called Preference Tree with Look-Ahead. Focusing on Motivational Interviewing (MI) -- a counseling technique aimed at facilitating behavioral change -- we leverage virtual patients and an oracle evaluator to simulate conversations and generate rich preference datasets. By combining this method with Direct Preference Optimization (DPO), we aim to enhance the agent's decision-making capabilities over iterative training cycles. The proposed framework addresses data scarcity and advances the development of more nuanced and effective dialogue systems in goal-oriented domains. Experimental evaluations demonstrate that the PTO framework enhances dialogue agents' performance in goal-oriented conversations within the domain of Motivational Interviewing (MI). Models trained with PTO consistently outperformed the baseline in key metrics such as session satisfaction and working alliance. Additionally, incorporating look-ahead simulations led to improved long-term planning and more effective conversational strategies, with deeper look-ahead configurations yielding the most stable and high-scoring results.
- Abstract（参考訳）: マルチターン、ゴール指向の対話を行える対話システムを開発することは、特に限られたデータを持つ専門分野において重要な課題である。
そこで本研究では,Look-Ahead を用いた Preference Tree Optimization (PTO) という手法を用いて,対話システムにおけるエージェントモデルを反復的に改善する手法を提案する。
行動変化を促進するためのカウンセリング手法であるMI(Motivational Interviewing)に注目して、仮想患者とオラクル評価器を活用して会話をシミュレートし、リッチな嗜好データセットを生成する。
本手法をDPO(Direct Preference Optimization)と組み合わせることで,反復学習サイクルよりもエージェントの意思決定能力を高めることを目指す。
提案フレームワークは,データ不足に対処し,目標指向ドメインにおけるよりニュアンスで効果的な対話システムの開発を進める。
実験により、PTOフレームワークは、モチベーション・インタビュー(MI)領域内の目標指向会話における対話エージェントのパフォーマンスを向上させることが示された。
PTOでトレーニングされたモデルは、セッション満足度や作業アライアンスといった重要な指標において、ベースラインを一貫して上回りました。
さらに、ルックアヘッドシミュレーションの導入により、長期計画の改善とより効果的な会話戦略が実現され、より深いルックアヘッド構成により、最も安定かつ高いスコア付け結果が得られる。
関連論文リスト
- Let's Have a Conversation: Designing and Evaluating LLM Agents for Interactive Optimization [42.990074666128145]
本稿では,対話を通して最適化エージェントを評価するための,スケーラブルで再現性の高い手法を提案する。
私たちは学校のスケジュールケーススタディで何千もの会話を作ります。
同じ最適化エージェントが会話を通じて、はるかに高品質なソリューションに収束する。
論文 参考訳（メタデータ） (2026-04-03T02:55:24Z) - Dialogue Model Optimization via Agent Game and Adaptive Tree-based GRPO [19.784541601653128]
オープンエンド対話エージェントは、ユーザの特性に適応して、エンゲージメントでパーソナライズされた対話を提供することを目的としている。
本稿では,オンラインパーソナライズと適応木に基づくグループ相対的ポリシー最適化を統合した新しい長軸フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-09T11:32:02Z) - RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems [109.9061591263748]
RecNetは、レコメンデータシステムのための自己進化的な好みの伝達フレームワークである。
関連ユーザやアイテム間で、リアルタイムの好み更新を積極的に伝達する。
逆相では、フィードバック駆動の伝搬最適化機構がマルチエージェント強化学習フレームワークをシミュレートする。
論文 参考訳（メタデータ） (2026-01-29T12:14:31Z) - Agentic Conversational Search with Contextualized Reasoning via Reinforcement Learning [66.52010873968383]
本稿では,RL学習を通じて学習した探索的,適応的な行動を可能にする,交互に探索と推論をインターリーブする対話エージェントを提案する。
広く使われている4つの対話型ベンチマークによる実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2026-01-19T14:55:54Z) - SimRPD: Optimizing Recruitment Proactive Dialogue Agents through Simulator-Based Data Evaluation and Selection [19.80033581334685]
SimRPDは、プロアクティブな対話エージェントを訓練するための3段階のフレームワークである。
まず,大規模な会話データを合成する高忠実度ユーザシミュレータを開発する。
次に,Chain-of-Intentionに基づく多次元評価フレームワークを提案する。
最後に、選択したデータセットに基づいて、採用プロアクティブ対話エージェントを訓練する。
論文 参考訳（メタデータ） (2026-01-06T10:00:15Z) - CATCH: A Novel Data Synthesis Framework for High Therapy Fidelity and Memory-Driven Planning Chain of Thought in AI Counseling [33.31877691538151]
CATCHはこれらの課題に対処するために設計された新しいデータ合成フレームワークである。
治療の忠実度を改善するために, プログレッシブ・ダイアログ合成戦略を導入する。
各応答の背後にある意思決定の根拠を捉えるために、メモリ駆動思考パターンを提案する。
論文 参考訳（メタデータ） (2025-09-30T03:44:00Z) - What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context [56.590259941275434]
RecPOは、シーケンシャルなレコメンデーションのための優先順位最適化フレームワークである。
これは、推定された嗜好階層と時間信号に基づいて適応的な報酬マージンを利用する。
タイムリーな満足感、コヒーレントな嗜好の維持、変化する状況下での識別の行使など、人間の意思決定の重要な特徴を反映している。
論文 参考訳（メタデータ） (2025-06-02T21:09:29Z) - Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳（メタデータ） (2024-08-14T11:29:47Z) - Enhancing Large Language Model Induced Task-Oriented Dialogue Systems
Through Look-Forward Motivated Goals [76.69419538047813]
ProToDアプローチは、将来の対話行動を予測し、ToDシステムを強化するためにゴール指向の報酬シグナルを組み込む。
本稿では,目標駆動型対話シミュレーションに基づくToDシステム評価手法を提案する。
また,MultiWoZ 2.1データセットを用いた実験により,データの10%しか利用せず,優れた性能が得られることを示した。
論文 参考訳（メタデータ） (2023-09-16T10:56:00Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳（メタデータ） (2020-09-19T02:41:04Z) - Variational Hierarchical Dialog Autoencoder for Dialog State Tracking
Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。
目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。
各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文 参考訳（メタデータ） (2020-01-23T15:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。