論文の概要: Self-Evolve With a Reference:Anchored Training of Tool-Integrated Agents
- arxiv url: http://arxiv.org/abs/2610.09856v1
- Date: Wed, 07 Oct 2026 11:13:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.872034
- Title: Self-Evolve With a Reference:Anchored Training of Tool-Integrated Agents
- Title（参考訳）: ツール・インテグレート・エージェントの自己開発:ツール・インテグレート・エージェントの学習
- Abstract要約: 自己進化ツール統合エージェントは、自身のトレーニングループ内で生成されたタスクとフィードバックから学習する。
textitAnchorLoopを提案し、過去のイテレーションのExecutorのフリーズコピーを歴史的な参照として紹介する。
- 参考スコア（独自算出の注目度）: 10.82443398666203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-evolving tool-integrated agents learn from tasks and feedback generated within their own training loop. A Curriculum Agent generates tasks, while an Executor Agent learns from self-consistency signals through reinforcement learning. However, relying solely on the current Executor for feedback has two limitations: group-relative advantages vanish under full consensus, while uncertainty-based curriculum rewards favor disagreement without showing whether the generated tasks support further learning. These limitations motivate an additional reference beyond the current Executor. We propose \textit{AnchorLoop}, which introduces a frozen copy of the previous iteration's Executor as a historical reference and reuses it on both sides of the training loop. For the Executor, the anchor provides a cross-reference advantage that evaluates current outputs against both current and historical majority answers. For the Curriculum, it provides an agreement-based reference based on differences in sampled majority agreement. Since the Executor and anchor have identical parameters during Curriculum training, this comparison serves as a proxy for task selection rather than evidence of inter-version improvement or correctness. Across 13 reasoning benchmarks, AnchorLoop improves over Agent0 by 2.5\% on mathematical reasoning and 2.8\% on general reasoning tasks. It also maintains higher effective-advantage variance and continues improving in later iterations as the unanchored baseline shows diminishing gains. These results demonstrate the benefit of introducing a lightweight historical reference into self-evolving tool-integrated agents without external task or answer supervision.
- Abstract（参考訳）: 自己進化ツール統合エージェントは、自身のトレーニングループ内で生成されたタスクとフィードバックから学習する。
カリキュラムエージェントはタスクを生成し、実行エージェントは強化学習を通じて自己整合性信号から学習する。
グループ相対的優位性は完全な合意の下で消滅するのに対し、不確実性に基づくカリキュラム報酬は、生成されたタスクがさらなる学習をサポートするかどうかを示すことなく、不一致を支持する。
これらの制限は、現在のExecutor以外の追加参照を動機付けます。
これは、過去のイテレーションのExecutorのフリーズコピーを履歴参照として導入し、トレーニングループの両側で再利用するものだ。
Executorでは、アンカーは、現在の多数回答と過去の多数回答の両方に対して現在のアウトプットを評価する、相互参照のアドバンテージを提供する。
カリキュラムについては、サンプル化された多数決の相違に基づく合意に基づく参照を提供する。
実行子とアンカーは、カリキュラムトレーニング中に同じパラメータを持つため、この比較は、変換間改善や正しさの証拠ではなく、タスク選択のプロキシとして機能する。
13の推論ベンチマークで、AnchorLoopはAgen0よりも2.5\%、一般的な推論タスクでは2.8\%改善している。
また、効率の良いアドバンテージのばらつきも維持し、未修正のベースラインが利得の減少を示すため、後続のイテレーションでも改善が続けられる。
これらの結果は、外部のタスクや回答の監督なしに、自己進化型ツール統合エージェントに軽量な履歴参照を導入する利点を示す。
関連論文リスト
- ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience [17.820154259260953]
大規模言語モデル(LLM)エージェントは、多くの推論・アクションのターンを通じて長い水平タスクを解く。
インコンテキスト適応エージェントは、リフレクション、記憶、またはスキルをテキストとして格納するので、再利用は適切なエクスペリエンスを取得し、それを実行したフリーズポリシーに依存する。
我々は,オンラインエージェントテストタイムトレーニング(OaTTT)について検討し,LLMの重量を自身の実行軌跡で訓練する。
ASCENT (Agentic Self-distillation for Cross-task EvolutioN at Test-time) を導入する。
論文 参考訳（メタデータ） (2026-10-04T15:27:20Z) - Self-Evaluating Recursive Agents [11.617944642614935]
再帰的な言語モデルエージェントはタスクを分解し、同じポリシーの子供インスタンスにサブタスクを委譲し、作業ツリーを形成する。
既存の方法は検証器や判定器で各ノードをスコアリングする。
本稿では,SERA(Self-Evaluating Recursive Agents)を提案する。
論文 参考訳（メタデータ） (2026-10-04T03:28:07Z) - HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。
SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
論文 参考訳（メタデータ） (2026-08-02T11:00:04Z) - Harnessing LLM Agents with Skill Programs [58.356514745548026]
HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。
PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。
HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
論文 参考訳（メタデータ） (2026-05-18T01:35:11Z) - Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards [15.458797431655961]
検証可能な報酬を伴う強化学習は、大規模言語モデルにおける明示的な推論を改善する共通の方法となっている。
しかし、最終回答の正確性だけでは、推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。
我々は、推論を消費可能な中間アーティファクトとして扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。
論文 参考訳（メタデータ） (2026-05-05T15:24:40Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳（メタデータ） (2026-02-18T02:55:55Z) - Learning to Self-Verify Makes Language Models Better Reasoners [65.75109817173315]
大規模言語モデル(LLM)は、複雑なタスクに対する有望な推論パスを生成する上で、強力なパフォーマンスを達成する。
強力な生成能力にもかかわらず、LSMは自身の答えを検証するのに弱いままである。
同じタスクであっても、生成を改善することは、自己検証の改善に繋がらないことを示す。
論文 参考訳（メタデータ） (2026-02-07T15:49:06Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳（メタデータ） (2026-01-05T10:16:41Z) - Self-Challenging Language Model Agents [98.62637336505242]
本稿では,エージェントが自ら生成する高品質なタスクについて,エージェントを訓練するためのセルフチェンジフレームワークを提案する。
このフレームワークは、Llama-3.1-8B-Instructの2倍の改善を実現している。
論文 参考訳（メタデータ） (2025-06-02T14:23:33Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。