論文の概要: Proactive Dialogue Policy Optimization via Cognitive-State Transition
- arxiv url: http://arxiv.org/abs/2609.34948v1
- Date: Mon, 28 Sep 2026 11:39:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:31:04.691214
- Title: Proactive Dialogue Policy Optimization via Cognitive-State Transition
- Title（参考訳）: 認知状態遷移による韻律的対話政策最適化
- Abstract要約: Cog-Simはユーザの認知的および感情的状態を維持し、制約された状態遷移を通じて応答を生成する。
CSTPOは、各アクションを階層的な戦略-発話表現として整理する。
スパース完全ブランチサンプリングは、共有対話プレフィックスを再利用し、戦略レベルと発話レベルの異なるアドバンテージを推定する。
- 参考スコア（独自算出の注目度）: 4.039519601172249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Proactive dialogue requires agents to continually adapt their policies to user feedback while progressing toward task objectives over multiple turns. To move beyond imitation learning on static datasets, recent approaches use user simulators to collect interactive data for policy optimization. However, many simulators do not explicitly model the evolution of user cognition, limiting the consistency and state dependence of feedback across turns. Moreover, representing each action only by a high-level strategy label overlooks the large utterance space and cannot distinguish alternative realizations of the same strategy. To this end, we jointly design a $\textbf{Cog}$nitive User $\textbf{Sim}$ulator $\textbf{(Cog-Sim)}$ and $\textbf{C}$ognitive-$\textbf{S}$tate $\textbf{T}$ransition--Driven $\textbf{P}$olicy $\textbf{O}$ptimization $\textbf{(CSTPO)}$. Cog-Sim maintains the user's cognitive and affective states and generates responses through constrained state transitions across turns, so feedback depends on both the realized utterance and the user's current state. CSTPO organizes each action as a hierarchical strategy--utterance representation: a high-level strategy label constrains utterance sampling, and utterances are optimized within each label. Sparse complete-branch sampling reuses shared dialogue prefixes and estimates separate strategy-level and utterance-level advantages, enabling fine-grained optimization at both levels. Across three tasks, Cog-Sim exhibits monotonic dose--response relationships and is preferred over prompt-based simulators for naturalness. CSTPO improves Qwen3-14B's performance to a level comparable to that of GPT-5.5-based planning methods.
- Abstract（参考訳）: プロアクティブな対話では、エージェントは複数のターンでタスク目標に向かって進行しながら、ユーザのフィードバックにポリシーを継続的に適用する必要がある。
静的データセットの模倣学習を超えて、最近のアプローチでは、ユーザシミュレータを使ってポリシー最適化のためにインタラクティブなデータを収集している。
しかし、多くのシミュレータはユーザの認識の進化を明示的にモデル化せず、ターン間のフィードバックの一貫性と状態依存性を制限している。
さらに、高レベルの戦略ラベルによってのみ各行動を表現することは、大きな発話空間を見落とし、同じ戦略の代替的な実現を区別することができない。
この目的のために、$\textbf{Cog}$nitive User $\textbf{Sim}$ulator $\textbf{(Cog-Sim)}$および$\textbf{C}$ognitive-$\textbf{S}$tate $\textbf{T}$ransition-Driven $\textbf{P}$olicy $\textbf{O}$ptimization $\textbf{(CSTPO)}$を共同で設計する。
Cog-Simはユーザの認知的および感情的状態を維持し、ターン間の制約された状態遷移を通じて応答を生成するため、フィードバックは実際の発話とユーザの現在の状態の両方に依存する。
CSTPOは、各アクションを階層的な戦略-発話表現として整理する。
スパース完全ブランチサンプリングは、共有対話プレフィックスを再利用し、異なる戦略レベルと発話レベルのアドバンテージを推定し、両方のレベルできめ細かい最適化を可能にする。
3つのタスクにわたって、Cog-Simは単調な線量関係を示し、自然性のためのプロンプトベースのシミュレータよりも好まれる。
CSTPOはQwen3-14Bの性能をGPT-5.5ベースの計画手法に匹敵するレベルに改善した。
関連論文リスト
- Learning What to Share and What to Personalize: Hierarchical Strategy Co-Evolution for Agent Memory [12.804996491494284]
textbfHiPS(textbfHierarchical textbfPersonalized textbfStrategy)を提案する。
論文 参考訳（メタデータ） (2026-08-26T03:24:52Z) - Towards Faithful Simulation of Human Shopping Behavior [57.234936207923]
本稿では,GUIを用いたシミュレーションエージェントRecVerseについて紹介する。
メモリの問題に対して、RecVerseは認知にインスパイアされた階層的メモリ、短期的なフォーカスのためのワーキングメモリ、セッション内トレースのためのエピソディックメモリ、高レベルのインテントのためのPreference Memoryを採用する。
最適化の課題として、RecVerseは、セッション全体をスコアする軌道レベルの目標で最適化されている。
論文 参考訳（メタデータ） (2026-08-21T03:24:32Z) - Beyond One-Size-Fits-All: Adaptive Test-Time Augmentation for Sequential Recommendation [3.873910497341511]
テスト時間の増大は、シーケンシャルなレコメンデーションにおいてデータの分散を緩和するための有望なアプローチとなっている。
既存のTTAメソッドは通常、一様でユーザに依存しない拡張戦略に依存している。
AdaTTAはシーケンスごとにシーケンス固有の拡張演算子を選択することを学習する。
論文 参考訳（メタデータ） (2026-04-17T14:56:29Z) - PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。
8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
論文 参考訳（メタデータ） (2026-03-18T09:26:43Z) - TextBFGS: Quasi-Newton Optimization for Discrete Executable Text via Gradient-Operator Retrieval [38.3962427355446]
離散テキストに対して準ニュートン最適化法を実装するための2次フレームワークであるTextBFGSを紹介する。
TextBFGSは、事前学習された成功した軌道の記憶から勾配演算子を取得することで、逆ヘッセン行列を近似する。
より少ないモデルコールで優れたパスレートを実現し、強力なクロスタスク転送性を示す。
論文 参考訳（メタデータ） (2026-01-20T05:45:56Z) - A Framework for Generating Conversational Recommendation Datasets from Behavioral Interactions [2.0693204407592836]
ConvRecStudioは、リアルタイムなマルチターンダイアログをシミュレートするフレームワークで、タイムスタンプによるユーザとイテムのインタラクションとレビューに基礎を置いている。
我々は、MobileRec、Yelp、Amazon Electronicsの3つのドメインにConvRecStudioを適用する。
論文 参考訳（メタデータ） (2025-06-14T22:58:48Z) - Adaptive Thinking via Mode Policy Optimization for Social Language Agents [75.3092060637826]
動的社会的相互作用における言語エージェントの適応的思考能力を改善するための枠組みを提案する。
本フレームワークは,(1)多言語思考モード設計,(2)コンテキスト認識モード切り替え,(3)深度適応処理によるトークン効率推論の3つの重要な側面において,既存の研究を推し進めている。
論文 参考訳（メタデータ） (2025-05-04T15:39:58Z) - CREDIT: Coarse-to-Fine Sequence Generation for Dialogue State Tracking [44.38388988238695]
対話状態トラッカーは、現在の対話状態のコンパクトな表現を正確に見つけることを目的としている。
我々はシーケンス生成問題として構造化状態表現とキャスト対話状態追跡を用いる。
我々のトラッカーは,MultiWOZ 2.0とMultiWOZ 2.1データセットの5つの領域で共同目標精度を向上することを示した。
論文 参考訳（メタデータ） (2020-09-22T10:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。