論文の概要: CLEAT: Learning Value-Guided Clarification for Interactive Agents

• arxiv url: http://arxiv.org/abs/2610.12655v1
• Date: Thu, 08 Oct 2026 19:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.257832
• Title: CLEAT: Learning Value-Guided Clarification for Interactive Agents
• Title（参考訳）: CLEAT:対話型エージェントのための価値ガイドによる明確化学習
• Abstract要約: 本研究では,対話型意図アライメントの課題を明確化を通じて検討する。 トレーニングが不完全な情報を扱う方法を変えると、同じ明確化が多かれ少なかれ有用になる。 CLEATは、共有インタラクション結果から明確化値コントローラとタスクポリシーを協調訓練するフレームワークである。
• 参考スコア（独自算出の注目度）: 50.63941775694406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents can execute increasingly complex tasks, but effective assistance also requires aligning their actions with goals and constraints that users may leave unstated. We study this problem as interactive intent alignment through clarification. Yet clarification is useful only when the agent can turn the answer into better decisions. As training changes how the agent handles incomplete information and uses additional answers, the same clarification can become more or less useful. We introduce CLEAT (CLarification through valuE-guided Agent co-Training), a framework that co-trains a clarification-value controller and the task policy from shared interaction outcomes. We formulate residual query value to measure the task utility gained by asking rather than proceeding under the current policy, and estimate it through paired rollouts from the same interaction history. These paired returns train the controller to predict clarification value and the task policy to select useful questions and act on the answers. The controller guides subsequent rollout collection, while outcomes from the updated agent provide new value labels that allow clarification guidance to adapt as the agent learns. With Qwen3-4B, CLEAT achieves the highest mean score in all ten evaluation settings across four benchmarks. Gains over the strongest baseline reach 13.2 and 6.5 percentage points on UserGym Travel and IN3 underspecification judgment accuracy, respectively. Ablations show that co-training improves the task policy even when the controller is removed at inference, while adapting clarification guidance to the evolving policy yields further gains.
• Abstract（参考訳）: LLMエージェントは、ますます複雑なタスクを実行することができるが、効果的な支援には、ユーザの手元に残される可能性のある目標や制約とアクションを整合させることも必要である。 我々はこの問題を,明確化による対話的意図のアライメントとして研究する。 しかし、明確化は、エージェントが解答をより良い決定へと変換できる場合にのみ有用である。 トレーニングが不完全な情報を処理し、追加の回答を使用する方法を変えると、同じ明確化が多かれ少なかれ有用になる。 CLEAT(CLarification through valuE-guided Agent co-Training)は,共有インタラクション結果から明確化値コントローラとタスクポリシーを協調学習するフレームワークである。 我々は、現在のポリシーに従って進行するのではなく、質問によって得られるタスクユーティリティを測定するために、残余クエリ値を定式化し、同一のインタラクション履歴からのペアロールアウトによってそれを推定する。 これらのペア化されたリターンは、コントローラに明確化の値とタスクポリシーを予測するように訓練し、有用な質問を選択し、回答に作用する。 コントローラはその後のロールアウトコレクションをガイドし、更新されたエージェントの成果は、エージェントが学習するにつれて明確化ガイダンスが適応できる新しい値ラベルを提供する。 Qwen3-4Bでは、CLEATは4つのベンチマークで10評価設定で最高スコアを達成している。 最強のベースラインでのゲインは、UserGym Travelで13.2ポイント、IN3で6.5ポイントに達している。 アブレーションは、制御器が推論時に取り除かれても、協調訓練がタスクポリシーを改善することを示し、一方で、進化するポリシーに明確化ガイダンスを適用することで、さらなる利益が得られることを示している。

関連論文リスト

• Pareto-Dominant Clarification: Post-Training Coding LLMs via PPO-Lagrangian Budget Constraints [0.0]
  コーディングエージェントは、明確な質問をするか、ソリューションを直接試すかを判断しなければならない。 我々は、明確化行動を研究するが、強制的明確化予算の下では政策を訓練しない。 拘束マルコフ決定過程 (CMDP) と, PPO-ラグランジアンを用いたQwen2.5-Coder-7B-インストラクションの定式化を行った。
  論文  参考訳（メタデータ） (2026-10-02T21:54:46Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization [13.354353071601379]
  我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。 3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
  論文  参考訳（メタデータ） (2026-08-31T16:51:50Z)
• IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents [10.577620258047665]
  この研究は、マルチターンユーザインタラクションにおけるクレジット代入の理解を深める。 粗末な結果フィードバックからサービスエージェントをトレーニングするための、原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2026-08-25T14:14:36Z)
• OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
  大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。 LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。 提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T19:28:20Z)
• InfoPO: Information-Driven Policy Optimization for User-Centric Agents [39.407032905771885]
  アクティブな不確実性低減のプロセスとしてマルチターンインタラクションをフレーム化するInfoPOを紹介する。 情報ゲイン報酬を計算し、そのフィードバックがエージェントのその後の行動分布を変化させるクレジットを回す。 そして、この信号とタスク結果とを適応分散ゲート融合により結合する。
  論文  参考訳（メタデータ） (2026-02-28T13:58:14Z)
• Learning Steerable Clarification Policies with Collaborative Self-play [67.67872810596839]
  不明瞭なクエリを処理するために、AIアシスタントは不確実性を管理するためのポリシーが必要である。 我々は,この不確実性を管理するために,自己再生を用いて評価可能な政策を訓練することを提案する。 このことが、提供されたコストに応じて予測可能な振る舞いを変更する、評価可能なポリシーにつながることを示す。
  論文  参考訳（メタデータ） (2025-12-03T18:49:54Z)
• Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval [49.85856484781787]
  本稿では,ILMエージェントを検索プロセスのアクティブマニピュレータに高める新しいパラダイムであるInteract-RAGを紹介する。 我々は、ゼロショット実行と相互作用軌跡の合成を可能にする推論強化ワークフローを開発する。 6つのベンチマーク実験により、Interact-RAGは他の高度な手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-31T15:48:43Z)
• From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification [70.08146540745877]
  NLPタスクの共通制約を調査し、それらの引数の型に基づいて、それらを3つのクラスに分類する。 本稿では,ACT(ConsTraintsのアラインメント)という統合フレームワークを提案し,制約に適応したユーザアライメントのための監視信号を自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-10T22:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。