論文の概要: Training Advisors for LLM Agents from Task Outcomes

• arxiv url: http://arxiv.org/abs/2610.09858v1
• Date: Wed, 07 Oct 2026 11:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.872836
• Title: Training Advisors for LLM Agents from Task Outcomes
• Title（参考訳）: タスクアウトカムからのLCMエージェントのトレーニングアドバイザ
• Abstract要約: エージェントがタスクを遂行する際の自然言語分析とアドバイスを提供するために,批評家を訓練する手法であるCaddieを紹介した。 基本モデルを凍結させながら、強化学習を通じて批判を最適化する。 分析の結果,エージェントは推論時にいつ専門家に助けを求めるか決定できることがわかった。
• 参考スコア（独自算出の注目度）: 42.29751750619236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents tackle multi-step tasks by interleaving reasoning and tool calls with observations from the environment. Prior work has shown that natural-language feedback can help these agents revise their decisions during task execution. We introduce Caddie, a method for training critics to provide natural-language analysis and advice as agents work through a task. Unlike approaches that rely on step-level labels or reference critiques, Caddie learns from whether the agent ultimately succeeds after receiving the critic's feedback. We optimize the critic through reinforcement learning while keeping the base model frozen. Trained on multi-hop question answering with a single base model, our Qwen3-4B critic improves success rates across four base models of different scales and architectures, including three not used during critic training. On the MuSiQue benchmark, the trained critic improves Qwen3-4B's success rate by more than 25 percentage points, surpassing the performance of Kimi K3 without a critic. The same critic also yields gains on out-of-domain interactive benchmarks, including $τ^3$ and DeepDive, with no additional training. Our results show that agents can decide when to seek help from a critic at inference time and that outcome-based critic training can produce guidance that transfers across base models and task domains.
• Abstract（参考訳）: 大規模言語モデルエージェントは、推論とツールコールを環境から観測することで、多段階的なタスクに取り組む。 以前の研究によると、自然言語によるフィードバックは、これらのエージェントがタスク実行中に意思決定を修正するのに役立つ。 エージェントがタスクを遂行する際の自然言語分析とアドバイスを提供するために,批評家を訓練する手法であるCaddieを紹介した。 段階的なラベルや基準的批判に頼っているアプローチとは異なり、カディはエージェントが最終的に批評家のフィードバックを受けた後に成功するかどうかから学ぶ。 基本モデルを凍結させながら、強化学習を通じて批判を最適化する。 Qwen3-4B批判者は、単一のベースモデルで回答するマルチホップ質問に基づいて、異なるスケールとアーキテクチャの4つのベースモデルにおける成功率を改善する。 MuSiQueベンチマークでは、トレーニングされた批評家はQwen3-4Bの成功率を25ポイント以上改善し、Kim K3のパフォーマンスを上回った。 同じ批評家は、追加のトレーニングなしで、$τ^3$やDeepDiveなど、ドメイン外インタラクティブなベンチマークでも利益を上げている。 本研究の結果から,エージェントは推論時にいつ助けを求めるべきかを判断でき,結果に基づく批判訓練は,ベースモデルやタスク領域をまたがるガイダンスを作成できることがわかった。

関連論文リスト

• ICRL: Learning to Internalize Self-Critique with Reinforcement Learning [29.197505133648047]
  大規模な言語モデルベースのエージェントは間違いを犯すが、批判はしばしば同じモデルを正しい行動へと導く。 凍結した批評家は、時間とともにフィードバックの品質を改善することができず、反復的な自己改善の可能性を制限する。 本稿では,自己批判を補強学習で学ぶことを提案する。これは,問題解決者と批判者を共有バックボーンから共同で訓練する新しい枠組みである。
  論文  参考訳（メタデータ） (2026-05-13T08:50:05Z)
• Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning [89.60378227969643]
  より強力な監督を伴わないクオリティク言語モデルを開発するためのオンラインRLアプローチであるCrytique-RLを提案する。 提案手法は,アクターが応答を生成し,批評家がフィードバックを提供し,アクターがそれに応じて応答を洗練する,という2段階のパラダイムに基づいている。 さまざまなタスクやモデルに対する実験では、Cristique-RLが大幅なパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2025-10-28T11:37:01Z)
• RefCritic: Training Long Chain-of-Thought Critic Models with Refinement Feedback [57.967762383794806]
  RefCriticは、二重ルールベースの報酬による強化学習に基づく、長鎖の批判モジュールである。 我々は5つのベンチマークでQwen2.5-14BとDeepSeek-R1-Distill-Qwen-14BのRefCriticを評価した。
  論文  参考訳（メタデータ） (2025-07-20T16:19:51Z)
• VISCO: Benchmarking Fine-Grained Critique and Correction Towards Self-Improvement in Visual Reasoning [112.35483894933904]
  我々は,LVLMの細粒度評価と補正能力を広範囲に解析する最初のベンチマークであるVISCOを提案する。 VISCOは密度が高くきめ細かな批判を特徴とし、LVLMは各ステップの正しさを評価する必要がある。 LookBackは、批評と修正のパフォーマンスを最大13.5%改善する。
  論文  参考訳（メタデータ） (2024-12-03T05:04:49Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• CriticBench: Benchmarking LLMs for Critique-Correct Reasoning [26.45110574463893]
  CriticBenchは、大規模言語モデルの推論を批判し修正する能力を評価するために設計されたベンチマークである。 生成, 批判, 修正推論における17個のLLMの性能を評価し, 評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:59:02Z)
• Critique Ability of Large Language Models [38.34144195927209]
  本研究では,大規模言語モデル(LLM)が様々なタスクに対して正確な批評を提供する能力について検討する。 我々は,高品質な自然言語クエリとそれに対応するモデル応答からなるCriticBenchというベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-10-07T14:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。