Fugu-MT 論文翻訳(概要): Retrospective Progress-Aware Self-Refinement for LLM Agent Training

論文の概要: Retrospective Progress-Aware Self-Refinement for LLM Agent Training

arxiv url: http://arxiv.org/abs/2606.14302v1
Date: Fri, 12 Jun 2026 09:38:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-15 16:00:42.855945
Title: Retrospective Progress-Aware Self-Refinement for LLM Agent Training
Title（参考訳）: プログレッシブ・プログレッシブ・アウェア・セルフリファインメント : LLMエージェント・トレーニング
Authors: Xinbei Ma, Congmin Zheng, Jiyang Qiu, Jiale Hong, Yao Yao, Xiangmou Qu, Jiaxin Yin, Xingyu Lou, Jun Wang, Weiwen Liu, Weinan Zhang, Zhuosheng Zhang, Hai Zhao,
Abstract要約: ReProは、フォワード-then-reflectロールアウトパラダイムを通じてプログレスシグナルを自己生成するようにエージェントを訓練するフレームワークである。 ReProはQwenファミリーのパフォーマンスを高め、最大で12%の絶対的な成功率を得る。
参考スコア（独自算出の注目度）: 55.2682415036601
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM-based agents trained with reinforcement learning optimize step-wise action prediction but lack metacognitive awareness of task progress, inducing a gap that hinders long-horizon scaling. A pilot study reveals that online progress prompting hurts performance while retrospective demonstrations help, yet this capability cannot emerge from outcome-reward training alone. We present RePro, Retrospective Progress-Aware Training, a framework that trains agents to self-generate progress signals via a forward-then-reflect rollout paradigm: the agent executes actions online, then retrospectively reassesses its step-wise progress given the completed trajectory and known outcome. RePro initializes with a Retrospection Warmup that teaches reflection format from minimal external demonstrations, then further trains through RePro-PO with a composite reward that produces self-generated signals without continuous external supervision. Experiments on WebShop, ALFWorld, and Sokoban show that RePro enhances the Qwen family's performance, with up to $12\%$ absolute success rate gains.
Abstract（参考訳）: 強化学習で訓練されたLLMベースのエージェントは、ステップワイドな行動予測を最適化するが、タスクの進行に対するメタ認知的な認識が欠如し、長期にわたるスケーリングを妨げるギャップを生じさせる。パイロットスタディでは、オンラインの進捗がパフォーマンスを損なう一方で、レトロスペクティブのデモが役に立ちます。 RePro, Retrospective Progress-Aware Trainingは、エージェントがフォワード・ザ・レフレクト・ロールアウト・パラダイムを通じて進捗信号の自己生成を訓練するフレームワークであり、エージェントはオンラインでアクションを実行し、完了した軌道と既知の結果からステップワイズ・プログレスを遡って再評価する。 ReProは、最小限の外部デモからリフレクションフォーマットを教えるRetrospection Warmupで初期化され、さらにRePro-POを通じて、継続的な外部監視なしに自己生成信号を生成する複合報酬でトレーニングを行う。 WebShop、ALFWorld、およびSokobanの実験によると、ReProはQwenファミリーのパフォーマンスを高め、絶対的な成功率を最大12.%向上させる。

関連論文リスト

Harnessing LLM Agents with Skill Programs [58.356514745548026]
HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
論文参考訳（メタデータ） (2026-05-18T01:35:11Z)
Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。 RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2026-05-12T20:46:05Z)
RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
論文参考訳（メタデータ） (2026-03-09T16:23:33Z)
ProgAgent:A Continual RL Agent with Progress-Aware Rewards [0.07646713951724009]
ProgAgentは、プログレッシブアウェアの報酬学習をJAXネイティブシステムアーキテクチャと統合する継続的強化学習エージェントである。これは、初期、現在、および目標観測におけるタスクの進捗を推定する知覚モデルを通じて、ラベルなしのエキスパートビデオから、密集した形をした報酬を導き出す。 ProgAgentは、非常に並列なロールアウトと完全に異なる更新をサポートし、洗練された統合された目標の実現を可能にする。
論文参考訳（メタデータ） (2026-03-08T19:58:07Z)
Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
論文参考訳（メタデータ） (2025-11-06T20:40:27Z)
Learn the Ropes, Then Trust the Wins: Self-imitation with Progressive Exploration for Agentic Reinforcement Learning [41.90621652673528]
エージェントLLMを学習するためのカリキュラムベースの自己アニメーション学習(SIL)レシピであるSPEARを提案する。具体的には,本手法は,本質的な報奨を生かして,技術レベルの探究を促進するためのカリキュラムを取り入れている。さらにトレーニングを安定させるために、リプレイバッファでの経験の利点を再検討し、潜在的ポリシードリフトに対処する。
論文参考訳（メタデータ） (2025-09-26T17:20:38Z)
PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。 ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
論文参考訳（メタデータ） (2024-11-26T04:17:51Z)
SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。