論文の概要: Where Does Harness-Optimization Value Live? Localized Gains and the Budget-Splitting Trap in Self-Evolving LLM Agents
- arxiv url: http://arxiv.org/abs/2609.02889v1
- Date: Thu, 25 Jun 2026 00:45:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.445432
- Title: Where Does Harness-Optimization Value Live? Localized Gains and the Budget-Splitting Trap in Self-Evolving LLM Agents
- Title（参考訳）: ハーネス最適化値の生かし方 : 自己進化型LDM剤の局部ゲインと予算分割トラップ
- Abstract要約: HARNESSEVOは、ハーネスを4つの分離可能なスロット(ロール、タスク-ストラテジー、ツール/フォーマット-ルール、制御)に分解する。
凍結した7Bバックボーンを持つALFWorldでは、HARNESSEVOはバイナリ全体の成功率を大幅に改善しない。
全体としては、ハーネスの価値は局所化され、均一な予算分割は積極的に有害であり、信用代入は構造化されたエージェント進化に先立つべきであることを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A growing body of work improves frozen large language models (LLMs) as agents by evolving their harness: the textual scaffolding around the model, including persona, strategy, format rules, and control heuristics. Existing reflective prompt-evolution methods usually optimize this harness as one flat string. We instead ask where the optimization value actually resides. We introduce HARNESSEVO, which decomposes the harness into four separately evolvable slots: role, task-strategy, tool/format-rules, and reflection/control. Using the same reflective optimizer under an iso-budget setting, we pair this decomposition with leave-one-in and leave-one-out attribution to measure the contribution of each slot. On ALFWorld with a frozen 7B backbone, HARNESSEVO does not significantly improve the overall binary success rate over either the stock harness or flat-string evolution: 0.657 versus 0.642 and 0.642, respectively. However, the slot-level analysis reveals that nearly all useful optimization value is localized in the reflection/control slot, which achieves a leave-one-in gain of +0.119. The other slots are individually null. We further show that uniform budget splitting is harmful: allocating 64 rollouts across four slots leaves only 16 per slot, below the optimizer's effective search floor, causing every slot to freeze at its empty seed. Concentrating the budget on the high-credit control slot recovers the lost gain, reaching 0.761 with half the split budget. The effect is task-contingent. On WebShop, all slots freeze empty and all methods tie, indicating a genuine absence of recurrent, verbalizable control failures rather than budget starvation. Overall, our results suggest that harness value is localized, uniform budget splitting can be actively harmful, and credit assignment should precede structured agent-evolution.
- Abstract（参考訳）: 成長する作業組織は、ペルソナ、戦略、フォーマットルール、制御ヒューリスティックなど、モデルを取り巻くテキストの足場を進化させることによって、フリーズした大きな言語モデル(LLM)をエージェントとして改善する。
既存の反射的プロンプト進化法は、通常、このハーネスを1つの平らな文字列として最適化する。
代わりに、最適化の値は実際にどこにあるのかを尋ねます。
HARNESSEVOは、ハーネスを4つの分離可能なスロット(ロール、タスク-ストラテジー、ツール/フォーマット-ルール、リフレクション/コントロール)に分解する。
等予算条件下で同じ反射型最適化器を用いて、各スロットの寄与度を測定するために、この分解をLeft-one-inおよびLeave-one-out属性と組み合わせる。
凍結した7Bバックボーンを持つALFWorldでは、HARNESSEVOはストックハーネスまたはフラットストリングの進化(それぞれ0.657対0.642と0.642)よりも、全体的なバイナリ成功率を大きく改善していない。
しかし、スロットレベル解析により、ほぼすべての有用な最適化値がリフレクション/制御スロットに局所化され、+0.119の利得が得られることが明らかになった。
他のスロットは個別にnullです。
4つのスロットに64個のロールアウトを割り当てるのは、1スロットあたり16個しかなく、オプティマイザの有効な検索フロアより下にあるため、すべてのスロットは空のシードで凍結する。
高利得制御スロットの予算に集中すると、損失利得が回復し、半分の予算で0.761に達する。
効果はタスク・コンテンジェントです。
WebShopでは、すべてのスロットが空になり、すべてのメソッドが結びつく。
全体としては、ハーネスの価値は局所化され、均一な予算分割は積極的に有害であり、信用代入は構造化されたエージェント進化に先立つべきであることを示唆している。
関連論文リスト
- Not All Layers Need Tuning: Diagnosing and Directing Adaptation in Vision-Language-Action Models [5.8750879903776125]
新しいデプロイメント環境のためのVision-Language-Action(VLA)モデルを微調整するのはコストがかかるが、ほとんどの手法は各リージョンに均一なキャパシティアダプタを適用する。
本稿では,5つのアーキテクチャ上のVLAについて検討する。
領域ごとの適応コストを領域分離微調整における正規化パラメータ偏差として測定すると,適応スペクトルが明らかになる。
論文 参考訳（メタデータ） (2026-09-16T03:44:51Z) - Threshold-Based Selection for Continuous Optimization: A Leaf-Abscission Instantiation [1.827510863075184]
Leaf Abscission Optimization (LAO)は、ランクベースの強度、現象的季節信号、多様性変調、環境圧力、およびベース再成長カーネルを使用する。
本稿では,各既存成分が変動前に試験され,文脈圧力が強度を超える場合にのみ置換が生じて評価される評価ゲーティングアーキテクチャとして,しきい値に基づく選択を定式化する。
論文 参考訳（メタデータ） (2026-09-06T17:41:35Z) - Coverage, Not Credit: Failure-Credit Routing of Zeroth-Order Perturbation Budgets Does Not Improve On-Pool Sample Efficiency for LLM Agents [0.0]
軌道レベルのクレジット割り当ては、検証可能な信号のみを使用して、どのモジュールが障害を引き起こすかをローカライズすることができる。
フェールクレジットは、固定されたゼロオーダー/進化ストラテジー(ZO/ES)の摂動予算をルートすべきかどうかを問う。
合成環境と凍結したQwen2.5-1.5B/3BおよびSmolLM2-1.7Bのエージェントの至る所で、オンプール比較において均一配置よりも統計的に検出可能な改善は見つからない。
論文 参考訳（メタデータ） (2026-08-28T07:27:02Z) - Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks [2.1763040274946337]
Aether-7B-5Attnは,49層の配列混合機構を持つ実験用混合モデルである。
それぞれのメカニズムが各行や列に正確に1回現れるため、設計は深さをまたいだ露出のバランスが保証される。
性能は, 特定の置換ではなく, 奥行きに分布する不均一な組成に大きく依存することを示す。
論文 参考訳（メタデータ） (2026-07-29T06:39:03Z) - Automated Discovery Has No Universally Superior Harness [63.53666712024897]
我々はOpenEvolveスタイルの進化的探索とTT-Discoverサーチハーネスを構成成分に分解する。
12組のモデルプロブレムペアで30個の予算整合ハーネスを評価した。
論文 参考訳（メタデータ） (2026-07-20T17:59:37Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - ZEBRA: Zero-shot Budgeted Resource Allocation for LLM Orchestration [8.226365534099399]
連続非線形クナップサック問題に対する多相予算割当を低減するフレームワークであるZEBRAを提案する。
150ドルのAPPS符号化ベンチマークでは、ZEBRAの2つの変種は全ての集計基準においてLLM-directよりも優れていた。
我々は,自律型マルチエージェントシステムの経済行動を改善するために,推論時の軽量なアルゴリズムガイダンスを提案する。
論文 参考訳（メタデータ） (2026-05-19T20:50:05Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。
我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
論文 参考訳（メタデータ） (2026-01-15T18:58:33Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。