論文の概要: Agentic Critical Training

• arxiv url: http://arxiv.org/abs/2603.08706v1
• Date: Mon, 09 Mar 2026 17:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.705105
• Title: Agentic Critical Training
• Title（参考訳）: エージェントクリティカルトレーニング
• Authors: Weize Liu, Minghui Liu, Sy-Tuyen Ho, Souradip Chakraborty, Xiyao Wang, Furong Huang,
• Abstract要約: 大規模言語モデル(LLM)を自律エージェントとして訓練することは、しばしば模倣学習から始まる。 本稿ではエージェントクリティカルトレーニング(ACT)を提案する。これは,エージェントに対して,選択肢間のよりよい行動を特定するための強化学習パラダイムである。 ACTは、異なるポストトレーニングメソッドと組み合わせることで、エージェントのパフォーマンスを一貫して改善する。
• 参考スコア（独自算出の注目度）: 58.33938417298441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language models (LLMs) as autonomous agents often begins with imitation learning, but it only teaches agents what to do without understanding why: agents never contrast successful actions against suboptimal alternatives and thus lack awareness of action quality. Recent approaches attempt to address this by introducing self-reflection supervision derived from contrasts between expert and alternative actions. However, the training paradigm fundamentally remains imitation learning: the model imitates pre-constructed reflection text rather than learning to reason autonomously. We propose Agentic Critical Training (ACT), a reinforcement learning paradigm that trains agents to identify the better action among alternatives. By rewarding whether the model's judgment is correct, ACT drives the model to autonomously develop reasoning about action quality, producing genuine self-reflection rather than imitating it. Across three challenging agent benchmarks, ACT consistently improves agent performance when combined with different post-training methods. It achieves an average improvement of 5.07 points over imitation learning and 4.62 points over reinforcement learning. Compared to approaches that inject reflection capability through knowledge distillation, ACT also demonstrates clear advantages, yielding an average improvement of 2.42 points. Moreover, ACT enables strong out-of-distribution generalization on agentic benchmarks and improves performance on general reasoning benchmarks without any reasoning-specific training data, highlighting the value of our method. These results suggest that ACT is a promising path toward developing more reflective and capable LLM agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)を自律的なエージェントとして訓練することは、しばしば模倣学習から始まるが、その理由を理解せずにエージェントに何をすべきかを教える。 近年のアプローチでは、専門家と代替行動の対比から自己回帰監督を導入することで、この問題に対処しようとしている。 しかし、トレーニングパラダイムは基本的に模倣学習であり、モデルは自律的に推論を学ぶのではなく、事前に構築されたリフレクションテキストを模倣する。 本稿ではエージェントクリティカルトレーニング(ACT)を提案する。これは,エージェントに対して,選択肢間のよりよい行動を特定するための強化学習パラダイムである。 モデルの判断が正しいかどうかを判断することで、ACTはモデルに行動品質に関する推論を自律的に発展させ、それを模倣するのではなく、真の自己回帰を生み出す。 3つの挑戦的なエージェントベンチマークの中で、ACTは異なるポストトレーニングメソッドと組み合わせることで、エージェントのパフォーマンスを一貫して改善する。 模倣学習では平均5.07点、強化学習では4.62点である。 知識蒸留による反射能力を注入する手法と比較して、ACTは明確な利点を示し、平均2.42ポイントの改善をもたらす。 さらに,ACTはエージェントベンチマークの分散化を強力に実現し,推論固有のトレーニングデータを必要としない一般的な推論ベンチマークの性能向上を実現し,本手法の価値を強調した。 これらの結果から、ACTはより反射的かつ有能なLSM剤を開発するための有望な経路であることが示唆された。

関連論文リスト

• SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
  論文  参考訳（メタデータ） (2025-07-10T05:38:15Z)
• Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
  本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。 Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。 以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2025-01-20T11:46:04Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy [47.42940885853956]
  A$3$TはAutonomousを実現するフレームワークである。 法律の様式における代理人軌道の AlfWorldでは、A$3$Tで訓練されたエージェントが1発成功率96%、100%成功率4回を達成している。
  論文  参考訳（メタデータ） (2024-03-21T17:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。