論文の概要: Beyond the Capability Boundary: Zeroth-Order Optimization for Self-Evolving LLM Agents
- arxiv url: http://arxiv.org/abs/2608.09292v1
- Date: Mon, 10 Aug 2026 08:45:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.167275
- Title: Beyond the Capability Boundary: Zeroth-Order Optimization for Self-Evolving LLM Agents
- Title（参考訳）: 機能境界を超えて:自己進化型LLMエージェントのゼロ階最適化
- Abstract要約: エージェントが能力境界を超えて学習できるゼロ階自己進化フレームワークを提案する。
具体的には、LLMのLoRAパラメータを摂動させ、エージェントを実行し、乱れと元のパラメータの下で損失を計算し、損失差を用いて勾配を推定する。
- 参考スコア（独自算出の注目度）: 39.47590544708589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-evolving methods improve the capabilities of LLM agents by sampling trajectories from the underlying LLMs and learning from these trajectories. However, these methods struggle to learn beyond the inherent capability boundary of the agents, since the agents cannot sample correct trajectories on difficult examples for further improvements. In this paper, we propose a zeroth-order self-evolution framework that enables agents to learn beyond their capability boundary by perturbing LLM parameters to adapt to difficult examples without any trajectory annotations. Specifically, we perturb LoRA parameters of LLMs, run the agent, compute the losses under the perturbed and original parameters, and use the loss difference to estimate gradients and further update the LoRA parameters. We sample trajectories using the updated LLMs for supervised fine-tuning to break through the capability boundary of the agents, forming a closed self-evolution loop. We introduce a parallel perturbation inference mechanism and an adaptive lookup mechanism to reduce time consumption in zeroth-order optimization, with an answer perplexity loss that provides smooth and stable zeroth-order loss values. Experiments on multiple deep research benchmarks show that our method obtains substantially more successful trajectories and consistently outperforms strong baselines, especially on difficult examples. The code and released artifacts are available at https://github.com/hidk1911/ZOForLLMAgents.
- Abstract（参考訳）: 自己進化法は、LLMから軌道をサンプリングし、これらの軌道から学習することにより、LSMエージェントの能力を向上する。
しかしながら、これらの手法は、エージェントがさらなる改善のために困難な例について正しい軌道をサンプリングできないため、エージェントの固有の能力境界を超えて学習するのに苦労する。
本稿では, LLMパラメータを摂動することで, エージェントが機能境界を越えて学習し, 軌道アノテーションを使わずに, 困難な例に適応できるゼロ階自己進化フレームワークを提案する。
具体的には、LLMのLoRAパラメータを摂動させ、エージェントを実行し、乱れと元のパラメータの下で損失を計算し、損失差を利用して勾配を推定し、さらにLoRAパラメータを更新する。
エージェントの能力境界を突破し, 閉じた自己進化ループを形成するために, 教師付き微調整のために更新LPMを用いてトラジェクトリをサンプリングした。
並列摂動推定機構と適応的なルックアップ機構を導入し、ゼロ階最適化における時間消費を削減する。
複数のディープ・リサーチ・ベンチマーク実験により, 提案手法は, 精度が高く, 高いベースライン, 特に難解な例において, 常に優れることを示す。
コードとリリースされたアーティファクトはhttps://github.com/hidk1911/ZOForLLMAgentsで入手できる。
関連論文リスト
- Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。
この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。
LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2026-02-20T01:44:35Z) - MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance [18.215893951726166]
大規模言語モデル(LLM)は、早期学習を容易にするサブゴール分解、可塑性軌跡、抽象的な事前情報を提供することができる。
本稿では,MIRA (Memory-Integrated Reinforcement Learning Agent) を提案する。
論文 参考訳（メタデータ） (2026-02-20T01:43:30Z) - Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling [40.94400211806987]
摂動方向のサンプリング分布を学習可能なポリシとして扱う政策駆動型ZOフレームワークを提案する。
学習したサンプリングは、品質勾配情報を改善し、$d$の収束境界への明示的な依存を緩和することを示す。
以上の結果から,適応方向サンプリングはZOの微調整を大規模に実現する上で有望な方法であることが示唆された。
論文 参考訳（メタデータ） (2026-02-14T08:01:41Z) - Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。
本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。
提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
論文 参考訳（メタデータ） (2025-09-29T01:30:15Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。
誤差ステップの反射や補正を含む自己反射軌道を合成する。
実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2025-05-26T14:11:12Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。
微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - Training Agents with Weakly Supervised Feedback from Large Language Models [19.216542820742607]
本稿では,批判的LSMからの弱教師付き信号を用いたLSMエージェントの新しいトレーニング手法を提案する。
エージェントは反復的に訓練され、まず環境相互作用を通じて軌道を生成する。
API-bankデータセットのテストでは、エージェントの能力とGPT-4に匹敵するパフォーマンスが一貫して改善されている。
論文 参考訳（メタデータ） (2024-11-29T08:47:04Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳（メタデータ） (2024-05-30T09:42:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。