論文の概要: Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
- arxiv url: http://arxiv.org/abs/2605.30621v1
- Date: Thu, 28 May 2026 22:16:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.267418
- Title: Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
- Title（参考訳）: 自己進化型LDM剤の進化能力の遠ざかる
- Abstract要約: i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
- 参考スコア（独自算出の注目度）: 82.27610290890475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents are increasingly deployed as systems built around editable external harnesses, including prompts, skills, memories and tools, that shape task execution without changing model parameters. Harness self-evolution adapts such agents by updating these harnesses from execution evidence. Yet it remains unclear whether a model's base capability in task-solving predicts its capabilities in harness self-evolution: which models produce useful harness updates, and which actually benefit from them? We analyze two harness self-evolution capabilities: (i) harness-updating, the capability to produce useful persistent harness updates from execution evidence; (ii) harness-benefit, the capability to benefit from updated harnesses during task solving. Our analysis reveals two findings. First, harness-updating is flat in base capability: models from different capability tiers produce harness updates that lead to surprisingly similar gains; even Qwen3.5-9B's updates yield gains comparable to those of Claude Opus~4.6. Second, harness-benefit is non-monotonic in base capability: weak-tier models benefit little from updated harnesses, mid-tier models benefit most, and strong-tier models benefit less than mid-tier. We trace low gains at the weak tier to two failure modes: weak-tier models may fail to activate relevant harness artifacts, or activate them but fail to follow them faithfully. These findings suggest investing capability budget in the task-solving agent rather than the evolver, and targeting harness invocation and long-horizon instruction following in agent training. Our source code is publicly available at https://github.com/A-EVO-Lab/a-evolve/tree/release/harness-evolution.
- Abstract（参考訳）: LLMエージェントは、プロンプト、スキル、記憶、ツールを含む編集可能な外部ハーネスを中心に構築され、モデルパラメータを変更することなくタスクの実行を形作るシステムとして、ますます多くデプロイされている。
Harness self-evolutionは、これらのハーネスを実行証拠から更新することで、そのようなエージェントに適応する。
しかし、タスク解決におけるモデルの基本能力が自己進化を利用する能力を予測するかどうかは不明だ。
私たちは2つの自己進化能力を分析します。
一 実行証拠から有用かつ永続的な更新を行う能力、ハーネス更新
(二 ハーネス・ベネフィット、タスク解決時に更新ハーネスの恩恵を受ける能力。)
私たちの分析では2つの結果が判明した。
Qwen3.5-9Bの更新でもClaude Opus~4.6に匹敵する利得が得られる。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
弱い階層のモデルでは、関連するハーネスアーティファクトをアクティベートしたり、それらをアクティベートしたりはできませんが、忠実にそれらに従うことができません。
これらの結果から, 進化型エージェントではなく, タスク解決エージェントへの投資能力の予算化と, エージェント訓練におけるハーネスの実施と長期指導を目標とすることが示唆された。
ソースコードはhttps://github.com/A-EVO-Lab/a-evolve/tree/release/harness-evolutionで公開されています。
関連論文リスト
- Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails [23.287109132562403]
自動化されたハーネス進化により、より小さなモデルは、フロンティアモデルコストのごく一部で、ドメイン固有のタスクでうまく機能することができる。
模倣は知識を伝達し,足場の使用量を増加させるが,モデルハーネスの適合性を阻害することを示す。
我々は、メタレベルのMLEエージェントによって自動化され、弱いモデル自身のロールアウトにおいて失敗するターンをローカライズし、専門家にそのターンのみを書き直すよう依頼する、オンデマンドの専門家補正パイプラインを開発する。
論文 参考訳（メタデータ） (2026-09-08T17:53:49Z) - EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness? [83.21711423118768]
EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
論文 参考訳（メタデータ） (2026-09-03T03:24:02Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution [74.58840188662151]
JIT-Agentは、タスク適応エージェントハーネスをオンザフライで合成するために訓練されたハーネスインテリジェンスモデルである。
JIT-Agentは、ジャスト・イン・タイムのハーネス生成のために構築された最初のモデルである。
論文 参考訳（メタデータ） (2026-08-26T10:05:33Z) - HELIX: Model-Harness Co-evolution for Recursive Self-Improvement [8.484282837156933]
我々は,HELIXを資源追跡可能なHELIX基板として提案する。
提案手法は,現在の能力向上と,次のモデルに対する学習信号の生成方法を示す。
論文 参考訳（メタデータ） (2026-08-14T04:44:53Z) - AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses [72.0777620499307]
我々は、より強力なビルダーモデルが、より弱いターゲットモデルがパラメータを更新することなくタスクをより確実に解決するのに役立つ推論時ハーネスを構築することができるかどうか検討する。
実証的には、このテストタイム能力の伝達は非常に効果的であり、平均目標モデルの性能は0.49から0.91にほぼ倍増している。
構築者モデル推論の取り組みは、使用者の品質を単調に改善し、プラットフォーム効果は、構築者モデル自身の能力に対して控えめであり、より弱いターゲットモデルは最大の利益を得る。
論文 参考訳（メタデータ） (2026-08-12T17:53:18Z) - Self-Evolving Embodied Agents via Skill-Harness Evolution [53.307052568223945]
身体的エージェントは、ファンデーションモデルを中心としたシステムとして、ますます構築されている。
教師付き微調整と強化学習はエージェントを新しい環境に適応させることができるが、追加のデータ、報酬、トレーニングの実行が必要である。
SHAPERは,モデルパラメータの凍結を保ちつつ,列車不要な態様適応のための自己進化型フレームワークである。
論文 参考訳（メタデータ） (2026-08-11T18:55:58Z) - HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry [35.87794858139959]
HarnessXは、構成可能、適応可能、進化可能なエージェントハーネス用のファウンダリーである。
型付きハーネスプリミティブを置換代数学で組み立て、AIGISを介して適応する。
軌道をハーネス更新とモデルトレーニング信号の両方に変換することでハーネスモデルループを閉じる。
論文 参考訳（メタデータ） (2026-06-12T08:27:11Z) - SIA: Self Improving AI with Harness & Weight Updates [0.0]
人間はAIの構築と改善のボトルネックです。
言語モデルエージェントがハーネスとタスク固有のエージェントの重みを更新する自己改善ループであるSIAを提案する。
論文 参考訳（メタデータ） (2026-05-26T16:55:46Z) - DemoEvolve: Overcoming Sparse Feedback in Agentic Harness Evolution with Demonstrations [12.048713464721665]
DemoEvolveは、進化を活用するためのデモブートストラップ付きのアプローチである。
我々はこのパラダイムを標本効率の速い適応の一形態として研究する。
DemoEvolveは、より効果的で監査可能なハーネス編集を生成する。
論文 参考訳（メタデータ） (2026-05-23T12:10:52Z) - Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning [8.33682726719781]
インタイムハーネスは複雑な推論タスクにおいて大きな言語モデルを大幅に改善する。
emphOn-Policy Harness Self-Distillation (OPHSD)を紹介する。
OPHSDは、タスク固有のハーネス機能を学生モデルに内包する。
論文 参考訳（メタデータ） (2026-05-09T07:06:37Z) - Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。
既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。
本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文 参考訳（メタデータ） (2026-01-31T13:27:02Z) - ThetaEvolve: Test-time Learning on Open Problems [110.5756538358217]
In-context LearningとReinforcement Learning(RL)の両方をテスト時に効率的にスケールするために、AlphaEvolveを単純化し拡張するオープンソースのフレームワークであるThetaEvolveを紹介します。
テスト時にRLを使用するThetaEvolveは、推論のみのベースラインよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-11-28T18:58:14Z) - EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards [52.42920996842378]
本稿では,1つのバックボーンモデルから2つの協調エージェントをインスタンス化する自己進化型フレームワークEvoLMMを提案する。
この動的なフィードバックは、情報的クエリの生成と構造化推論の洗練の両方を促進する。
私たちのコードとモデルはhttps://github.com/mbzuai-oryx/EvoLMMで公開されています。
論文 参考訳（メタデータ） (2025-11-20T18:59:54Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳（メタデータ） (2023-06-16T15:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。