論文の概要: Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements
- arxiv url: http://arxiv.org/abs/2608.17310v2
- Date: Fri, 21 Aug 2026 05:30:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:31.731928
- Title: Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements
- Title（参考訳）: エージェントESOpt:最小GPU要件による細調整長水平LDMエージェント
- Abstract要約: ロングホライゾンのエージェント推論は、ますます分岐する相互作用とスパース報酬をもたらす。
本稿では、進化戦略(ES)が、細調整の長いLLMエージェントにとってより良い選択となることを論じる。
- 参考スコア（独自算出の注目度）: 34.45858266096649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) has been promising in single-turn LLM fine-tuning. However, long-horizon agentic reasoning introduces increasingly branching interactions and sparse rewards, exposing several limitations of RL: its heavyweight backpropagation-based training stack makes it impractical to fine-tune larger LLMs, and longer-horizon trajectories make credit assignment in RL substantially harder. This paper argues that evolution strategies (ES) can be a better choice for fine-tuning long-horizon LLM agents. Compared with agentic RL, ES offers three key advantages: 1) Model Scalability: ES enables full-parameter optimization with only minimal, inference-level GPU memory, making it possible to fine-tune large LLMs. 2) Flexibility: its lightweight, black-box feedback interface makes ES fine-tuning easy to compose with prompt-space evolution (e.g., skill optimization & test-time compute); and 3) Long-Horizon Scalability: ES performs trajectory-level parameter attribution without decomposing rewards across horizons, yielding better scalability than Agentic RL as the horizon length grows. Based on this insight, we propose Agentic ESOpt, a full-parameter agentic fine-tuning framework tailored to flexible parameter--context co-evolution. At each step, Agentic ESOpt samples perturbations around the current LLM parameters, evaluates the resulting agents with rewards, and applies an online reward-weighted update. To improve the exploration--adaptation trade-off, Agentic ESOpt further introduces a cosine decay schedule of the perturbation scale $σ$. On WebArena-Lite, full-parameter optimization of Qwen-3.5-27B improves the No Skill baseline by 6.69%. In test-time automatic heuristic design, Agentic ESOpt performs online prompt--parameter co-evolution, improving its matched baseline in 28 of 36 settings.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, 単ターンLDM微調整において有望である。
重いバックプロパゲーションベースのトレーニングスタックは、より大きなLSMを微調整することは不可能であり、長い水平軌道は、RLにおけるクレジットの割り当てを著しく困難にしている。
本稿では、進化戦略(ES)が、細調整の長いLLMエージェントにとってより良い選択となることを論じる。
エージェントRLと比較して、ESは3つの大きな利点がある。
1) モデルのスケーラビリティ: ESは最小限の推論レベルのGPUメモリでフルパラメータ最適化を可能にし、大きなLLMを微調整できる。
2)フレキシビリティ: 軽量でブラックボックスのフィードバックインターフェースにより、ESの微調整は、プロンプト空間の進化(例えば、スキル最適化とテスト時間計算)で簡単に構成できる。
3)長距離拡張性: ESは水平線をまたいで報酬を分解することなく軌道レベルのパラメータ属性を実行し、水平線長が大きくなるにつれてエージェントRLよりもスケーラビリティが向上する。
この知見に基づいて、フレキシブルパラメーター-コンテキスト共進化に適したフルパラメータエージェント微調整フレームワークであるAgentic ESOptを提案する。
それぞれのステップで、Agentic ESOptは現在のLLMパラメータに関する摂動をサンプリングし、結果のエージェントを報酬で評価し、オンラインの報酬重み付け更新を適用します。
探索適応トレードオフを改善するため、エージェントESOptはさらに摂動スケール$σ$のコサイン崩壊スケジュールを導入する。
WebArena-Liteでは、Qwen-3.5-27Bのフルパラメータ最適化がNo Skillベースラインを6.69%改善した。
テストタイムの自動ヒューリスティック設計では、Agentic ESOptはオンラインプロンプト-パラメータ共進化を実行し、36設定中28設定でマッチしたベースラインを改善した。
関連論文リスト
- Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training [22.250663855598432]
ツールを用いた大規模言語モデル(LLM)エージェントは、長いマルチターントラジェクトリを生成し、勾配ベースの後学習メモリを集中的に生成する。
協力について紹介する。
CoPES(CoPES)は、完全なパラメータ空間を低次元の部分空間に分解するコ進化的手法である。
論文 参考訳（メタデータ） (2026-08-03T15:34:45Z) - Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。
エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。
両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
論文 参考訳（メタデータ） (2026-06-02T03:09:13Z) - Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。
高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
論文 参考訳（メタデータ） (2026-05-12T17:58:20Z) - TinyLLM: Evaluation and Optimization of Small Language Models for Agentic Tasks on Edge Devices [0.0]
本稿では,エージェントタスク(機能/ツール/API呼び出し)における小言語モデル(SLM)の有効性について検討する。
本稿では、教師付き微調整(SFT)、パラメータ効率の高い微調整(PEFT)、強化学習(RL)、ハイブリッド手法を含むパラメータ駆動最適化戦略について述べる。
その結果,中規模モデル(1-3Bパラメータ)がウルトラコンパクトモデル(1Bパラメータ)を大幅に上回るモデルスケール間での精度差が明らかとなった。
この研究は、エッジデバイス上で、小さな言語モデルが正確で効率的で安定したエージェントAIを提供できるようにするためのハイブリッド最適化戦略の重要性を強調した。
論文 参考訳（メタデータ） (2025-11-27T06:09:54Z) - Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models [97.55009021098554]
本研究の目的は、SLMのリアルタイムレイテンシの主要な決定要因を特定し、SLMの設計とトレーニングのための一般化可能な原則と方法論を提供することである。
我々はNemotron-Flashと呼ばれるハイブリッドSLMの新たなファミリーを導入し、最先端SLMの精度・効率のフロンティアを大幅に向上させる。
論文 参考訳（メタデータ） (2025-11-24T08:46:36Z) - Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning [16.095629872564874]
強化学習はおそらく最も顕著な微調整法である。
進化戦略(ES)はかつて、数百万のパラメータを持つモデルでRLに匹敵する性能を示した。
ESは数十億のパラメータを効率的に探索し、既存のRLファインチューニング手法より優れている。
論文 参考訳（メタデータ） (2025-09-29T07:19:34Z) - LLM-DSE: Searching Accelerator Parameters with LLM Agents [34.75581582648836]
LLM-DSEは、HLSディレクティブの最適化に特化したマルチエージェントフレームワークである。
我々の探検家は、ルーター、スペシャリスト、アビテーター、批評家の4人のエージェントを調整します。
LLM-DSEは最先端の手法よりも2.55倍の性能向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T01:31:42Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳（メタデータ） (2025-04-24T17:57:08Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - Tensor Train Low-rank Approximation (TT-LoRA): Democratizing AI with Accelerated LLMs [1.5503410315996757]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著な機能を示している。
しかし、LLMの複雑さはますます増大し、膨大な計算資源を必要としている。
本稿では,新しいパラメータ効率細調整(PEFT)手法であるTrain Low-Rank Approximation (TT-LoRA)を紹介する。
論文 参考訳（メタデータ） (2024-08-02T04:45:58Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳（メタデータ） (2024-05-23T08:33:19Z) - Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。
本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。
本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
論文 参考訳（メタデータ） (2024-03-19T16:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。