論文の概要: EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness?
- arxiv url: http://arxiv.org/abs/2609.04280v1
- Date: Thu, 03 Sep 2026 03:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.763806
- Title: EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness?
- Title（参考訳）: EVOHARNESSBENCH:あなたのエージェントは、進化するハーネスで痛みを和らげられるか?
- Abstract要約: EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
- 参考スコア（独自算出の注目度）: 83.21711423118768
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern LLM-based agents operate through a harness of tools, reusable skills, and specialist agents that shapes what they observe and what they can do. In practice, this harness continually evolves as new capabilities are added. We introduce EVOHARNESSBENCH, a benchmark for evaluating agents under controlled harness evolution across three axes (tools, skills, and agents). Unlike existing continual-learning benchmarks for agents, which typically place non-stationarity (i.e., what changes over time) in the task stream while keeping the harness fixed, EVOHARNESSBENCH places non-stationarity in the externally supplied harness itself. It contains 17 multi-stage harness streams constructed deterministically from verifier-based benchmarks, comprising 802 tasks, 520 tools, 42 skills, and 62 agents. We evaluate two complementary settings corresponding to the central challenges of harness evolution: deployment evaluation, which isolates retention of previously accessible competence as the harness expands, and self-evolving adaptation evaluation, which tests whether accumulated experience remains useful as new capabilities are introduced. Our results reveal three persistent gaps. First, harness expansion alone can degrade performance on previously solved tasks, producing harness-induced forgetting. Second, gains from self-evolving adaptation remain inconsistent across stages of harness evolution, capability axes, and environments. Third, retention and adaptation can pull in different directions: preserving earlier competence does not necessarily improve adaptation to newly introduced capabilities, and vice versa. These results establish harness evolution as a distinct challenge for building agents that can keep pace with an evolving harness while preserving previously effective behavior.
- Abstract（参考訳）: 現代のLSMベースのエージェントは、ツール、再利用可能なスキル、そして彼らが観察するものとできることを形作るスペシャリストエージェントを駆使して動作する。
実際には、新しい機能が追加されるにつれて、このハーネスは継続的に進化します。
EVOHARNESSBENCHは、3つの軸(ツール、スキル、エージェント)にまたがるハーネスの進化を制御するエージェントを評価するベンチマークである。
EVOHARNESSBENCHは、外部から供給されたハーネス自体に非定常性(つまり時間とともに変化するもの)を保ちながらタスクストリームに非定常性(つまり時間とともに変化するもの)を配置する既存のエージェントの連続的なベンチマークとは異なり、EVOHARNESSBENCHは非定常性(英語版)を非定常性(英語版)を非定常性(英語版)に配置する。
802のタスク、520のツール、42のスキル、62のエージェントからなる検証済みのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
本研究は, ハーネスが拡大するにつれて, 従来アクセス可能な能力の維持を隔離する展開評価と, 蓄積した経験が新たな能力として有用であるかどうかを検証した自己進化適応評価の2つの相補的設定を評価する。
以上の結果から, 持続的な3つのギャップが明らかとなった。
第一に、ハーネス拡張だけでは、前に解決されたタスクのパフォーマンスを劣化させ、ハーネス誘起の忘れを生じさせる。
第二に、自己進化的適応による利益は、ハーネス進化、能力軸、環境の段階にわたって相容れないままである。
事前の能力を維持することは、新しく導入された能力への適応を必ずしも改善しない。
これらの結果は、これまで有効であった行動を維持しながら、進化を続けるハーネスにペースを保ち得る、構築エージェントの明確な課題として、ハーネスの進化を確立している。
関連論文リスト
- ModularRSI: Modular and Generalizable Recursive Harness Self-Improvement [46.36989489677189]
我々は、一般化可能なハーネス進化のための、ベンチマーク非結合、コントラストおよびモジュラーフレームワークを提案する。
ModularRSIは、同じタスクに対する成功と失敗の軌跡を対比し、繰り返し発生する行動障害を特定するために、タスク全体で証拠を集約する。
進化可能なハーネスを,エージェントループ,ツール使用,監視管理,コンテキスト管理,タスク補完検出という,5つの機能モジュールに分解する。
論文 参考訳（メタデータ） (2026-09-14T00:10:45Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - Aspire: Can Models Self-Evolve from Vague Goals? [61.65007006747275]
我々はあいまいなゴール駆動型自己進化のベンチマークであるASPIREを紹介する。
ASPIREは、統一された対話環境におけるモデルウェイトとエージェントハーネスの進化をサポートする。
実験の結果,曖昧な目標が探索努力を目標解釈に向けることが示唆された。
論文 参考訳（メタデータ） (2026-08-31T17:14:59Z) - Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。
候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。
実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
論文 参考訳（メタデータ） (2026-08-19T15:12:31Z) - Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents [67.97365535829098]
経験から学ぶことは、有能で自己改善型の大規模言語モデル(LLM)エージェントの開発に不可欠である。
Evo-Harnessは、ノイズの多いシングルショット実行を、クロスドメインとトピックレベルの適応のための再利用可能なスキルハーネスに蒸留する。
本分析は,エボ・ハーネスの有効性を実証し,LLMエージェントがリアルタイムで効果的に学習する方法の原理的理解を提供する。
論文 参考訳（メタデータ） (2026-08-15T06:43:56Z) - Evo-Bench: Can Language Models Improve Agent Harness? [44.72089415085898]
Evo-Benchは、検索、オフィス、ジェネラルエージェントドメインにまたがるモデル固有のハーネス進化能力を評価するために設計された最初のベンチマークである。
トップモデルは16.6ポイントに達し、最先端の人間工学ベースラインに近づいた。
論文 参考訳（メタデータ） (2026-08-10T03:49:28Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
論文 参考訳（メタデータ） (2026-05-28T22:16:14Z) - DemoEvolve: Overcoming Sparse Feedback in Agentic Harness Evolution with Demonstrations [12.048713464721665]
DemoEvolveは、進化を活用するためのデモブートストラップ付きのアプローチである。
我々はこのパラダイムを標本効率の速い適応の一形態として研究する。
DemoEvolveは、より効果的で監査可能なハーネス編集を生成する。
論文 参考訳（メタデータ） (2026-05-23T12:10:52Z) - Learning Without Losing Identity: Capability Evolution for Embodied Agents [14.412476605788482]
エンボディエージェントのための機能中心進化パラダイムを提案する。
我々はロボットが認知的アイデンティティとして永続的なエージェントを維持するべきだと主張する。
エージェントアイデンティティから機能進化を分離する統合されたフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-09T04:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。