論文の概要: Beyond Corrected Actions: Training LLM Agents on Textual Critiques

• arxiv url: http://arxiv.org/abs/2610.19367v1
• Date: Wed, 14 Oct 2026 01:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.868763
• Title: Beyond Corrected Actions: Training LLM Agents on Textual Critiques
• Title（参考訳）: 矯正行為を超えて: LLMエージェントをテキスト批評で訓練する
• Abstract要約: このようなフィードバックのトレーニングが LLM エージェントに有効かどうかを検討する。 本稿では,学生が生み出すトラジェクトリに対して,文章による専門家のフィードバックを付与するフレームワークであるCrytique-Augmented Agentic Fine-Tuning(CAFT)を提案する。
• 参考スコア（独自算出の注目度）: 13.74833574056001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for multi-turn agentic tasks that require interactions with users and environments over extended sequences of actions. A common approach to improving LLM agents is to use more capable expert models to provide training supervision, either by behavior cloning the expert's trajectories or by using the expert to correct the actions in trajectories generated by the weaker student model. However, expert LLMs can provide richer supervision than actions alone: they can directly generate textual critique that explain why specific actions are incorrect. We study whether training on such feedback benefits LLM agents and propose Critique-Augmented Agentic Fine-Tuning (CAFT), a framework that elicits textual expert feedback on student-generated trajectories. For each incorrect action, the expert yields both a corrected action and a textual critique explaining the student's mistake--which we then use as the training target for fine-tuning. Across four student models from the Nemotron 3 and Gemma 4 families on the agentic domains $τ^2$-Bench Airline+Retail and WebShop, adding critiques to action-level supervision improves performance by 8% on average over action-only distillation. Additionally, CAFT checkpoints can also provide a better warm start for reinforcement learning than expert-trajectory distillation. Our results demonstrate that textual critiques can strengthen supervision for multi-turn LLM agents.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、ユーザや環境との対話を必要とするマルチターンエージェントタスクにおいて、アクションのシーケンスを拡張して使われるようになった。 LLMエージェントを改善するための一般的なアプローチは、専門家の軌跡をクローンする動作や、より弱い学生モデルによって生成された軌跡の行動を補正する専門家の行動によって、より有能な専門家モデルを使用して訓練の監督を行うことである。 しかし、専門家のLLMは、アクション単独よりもリッチな監視を提供することができる。 このようなフィードバックのトレーニングがLCMエージェントにとって有益かどうかを調査し、学生が生成した軌道に専門家のフィードバックを付加するフレームワークであるCAFT(Critique-Augmented Agentic Fine-Tuning)を提案する。 各誤った行動に対して、専門家は、修正された行動と、学生の過ちを説明する文章的批評の両方を与える。 エージェントドメインのNemotron 3 と Gemma 4 ファミリーの4つの学生モデルに対して $τ^2$-Bench Airline+Retail と WebShop があり、アクションレベルの監視に批判を加えることで、アクションのみの蒸留よりも平均8%パフォーマンスが向上する。 さらに、CAFTチェックポイントは、専門家・軌跡蒸留よりも強化学習の温かいスタートを提供することができる。 以上の結果から,テキスト批判は多ターンLDMエージェントの監督を強化することが示唆された。

関連論文リスト

• Agent-Reflex: Teaching Language Agents to Act Reflectively [135.81207159393864]
  Agent-Reflexは、プロアクティブリフレクションをエージェントにインセンティブを与えるためのトレーニングフレームワークである。 Qwen3-8Bで構築されたエージェント-リフレックスは5つの長期ツール使用ベンチマークで58.6に到達した。
  論文  参考訳（メタデータ） (2026-10-13T08:36:20Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
  本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
  論文  参考訳（メタデータ） (2025-04-17T17:53:54Z)
• The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement [61.00950725408354]
  大規模言語モデル(LLM)は、最近、テキストベースのアシスタントから、計画、推論、反復的な行動改善が可能な自律エージェントへと変化した。 本研究では,環境を探索するアクターモデルと,詳細な自然言語フィードバックを生成する批評家モデルからなる,新しい2人プレイヤフレームワークであるCGIを紹介する。
  論文  参考訳（メタデータ） (2025-03-20T10:42:33Z)
• Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
  LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。 LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。 LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-22T13:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。