論文の概要: Experience-Handoff Reinforcement Learning for Recursive Self-Improvement
- arxiv url: http://arxiv.org/abs/2611.16409v1
- Date: Thu, 12 Nov 2026 07:18:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.38675
- Title: Experience-Handoff Reinforcement Learning for Recursive Self-Improvement
- Title(参考訳): 再帰的自己改善のための体験障害強化学習
- Abstract要約: 我々は、スカラー報酬から強化学習(RL)を用いてエージェントタスクのための大規模言語モデル(LLM)を訓練する。
提案手法は,将来的なアクターロールアウトに対する下流効果により,候補となる体験ハンドオフアーティファクトを評価する。
結果として、エージェントのトレーニングは、現在のロールアウトのアクションだけでなく、将来のロールアウトが継承するモデル記述エクスペリエンスを最適化すべきであることが示唆されている。
- 参考スコア(独自算出の注目度): 9.834185174186903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is common to train Large Language Models (LLMs) for agentic tasks with Reinforcement Learning (RL) from scalar rewards. However, this throws away the fine-grained information about the environment that the agent experienced during the trial (e.g., error logs). To utilize this rich information, recent works wrap the agent in a harness that refines its own inputs through reflection or compaction and hands past experience to future rollouts, but the construction of the handed-off artifacts (e.g., a playbook) is itself not learned. We want the best of both worlds: gradient updates from a scalar reward, while also utilizing environment information to hand off experience. As a concrete testbed, we fix the Agentic Context Engineering (\ace{}) harness and train one model to act, reflect, and curate task-local playbooks. Our method, \acerl{}, evaluates candidate experience-handoff artifacts by their downstream effect on future actor rollouts, and co-optimizes the role-specific behaviors (action generator, insight reflector, and playbook curator) under a fixed scaffold. Across agentic benchmarks, \acerl{} achieves higher held-out performance than baseline methods. The results suggest that agent training should optimize not only the actions in the current rollout, but also the model-written experience that future rollouts inherit.
- Abstract(参考訳): 強化学習(Reinforcement Learning, RL)を用いてエージェントタスクのための大規模言語モデル(LLM)をスカラー報酬からトレーニングすることが一般的である。
しかし、これは、エージェントがトライアルで経験した環境(例えばエラーログ)に関するきめ細かい情報を捨てる。
このリッチな情報を活用するために、近年の作業では、エージェントをリフレクションやコンパクト化を通じて自身の入力を洗練し、将来のロールアウトに過去の体験を手渡すハーネスにラップしているが、ハンドオフアーティファクト(例えば、プレイブック)の構築自体が学習されていない。
両世界のベストを尽くしたいのは、スカラー報酬からのグラデーション更新と、環境情報を利用して体験を届けることです。
具体的なテストベッドとして、エージェントコンテキストエンジニアリング(\ace{})のハーネスを修正して、1つのモデルを動作させ、リフレクションし、タスクローカルなプレイブックをキュレートするように訓練します。
提案手法は, 将来のアクターロールアウトに対する下流効果により, 候補となる体験ハンドオフアーチファクトを評価し, 一定の足場下でのロール固有の動作(アクションジェネレータ, インサイトリフレクタ, プレイブックキュレーター)を協調最適化する。
エージェントベンチマーク全体において、‘acerl{} はベースラインメソッドよりも高いホールドアウト性能を達成する。
結果として、エージェントのトレーニングは、現在のロールアウトのアクションだけでなく、将来のロールアウトが継承するモデル記述エクスペリエンスを最適化すべきであることが示唆されている。
関連論文リスト
- Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight [69.33075666165205]
検証可能な報酬(RLVR)による強化学習は、エージェント体験を学習信号に変換する。
自己検査蒸留(Self-Retrospection Distillation, SRD)は、特権のある後見を同じ方針の軌跡の目視に蒸留する。
以上の結果から,ポストホックエージェント体験は,行動の評価や改善だけでなく,対話に先立って予測表現を形成する上でも有用であることが示唆された。
論文 参考訳(メタデータ) (2026-10-06T10:06:47Z) - ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience [17.820154259260953]
大規模言語モデル(LLM)エージェントは、多くの推論・アクションのターンを通じて長い水平タスクを解く。
インコンテキスト適応エージェントは、リフレクション、記憶、またはスキルをテキストとして格納するので、再利用は適切なエクスペリエンスを取得し、それを実行したフリーズポリシーに依存する。
我々は,オンラインエージェントテストタイムトレーニング(OaTTT)について検討し,LLMの重量を自身の実行軌跡で訓練する。
ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time) を導入する。
論文 参考訳(メタデータ) (2026-10-04T15:27:20Z) - S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳(メタデータ) (2026-08-31T17:05:41Z) - Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents [67.97365535829098]
経験から学ぶことは、有能で自己改善型の大規模言語モデル(LLM)エージェントの開発に不可欠である。
Evo-Harnessは、ノイズの多いシングルショット実行を、クロスドメインとトピックレベルの適応のための再利用可能なスキルハーネスに蒸留する。
本分析は,エボ・ハーネスの有効性を実証し,LLMエージェントがリアルタイムで効果的に学習する方法の原理的理解を提供する。
論文 参考訳(メタデータ) (2026-08-15T06:43:56Z) - Training Language Agents to Learn from Experience [25.31745060337765]
In-context Training taskは、言語エージェントにおけるクロスタスク自己改善を評価するためのフレームワークである。
次に、経験から直接、そのような反射を学習するためのRLベースのトレーニングパイプラインを提案する。
ALFWorldとMiniHack全体で、トレーニングされたリフレクタは、ほとんどの保留タスクファミリでトレーニングされていないベースラインを上回ります。
論文 参考訳(メタデータ) (2026-05-19T20:41:12Z) - CLEAR: Context Augmentation from Contrastive Learning of Experience via Agentic Reflection [17.486111179784757]
エージェント・リフレクション(CLEAR)を用いたコントラッシブ・ラーニング・オブ・エクスペリエンス(Contrastive Learning of Experience)を用いた生成文脈拡張フレームワークを提案する。
CLEARはまずリフレクションエージェントを使用し、過去の実行軌跡に対してコントラスト分析を行い、観察された各タスクに有用なコンテキストを要約する。
さらに,タスク実行エージェントの実行によって報酬信号が得られる強化学習を用いてCAMを最適化する。
論文 参考訳(メタデータ) (2026-04-08T18:26:59Z) - Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。
分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。
また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
論文 参考訳(メタデータ) (2025-09-01T18:04:10Z) - Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。
Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。
以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
論文 参考訳(メタデータ) (2025-01-20T11:46:04Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳(メタデータ) (2022-09-24T14:22:29Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳(メタデータ) (2022-02-17T02:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。