論文の概要: Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity
- arxiv url: http://arxiv.org/abs/2607.13683v1
- Date: Wed, 15 Jul 2026 10:26:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.743155
- Title: Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity
- Title（参考訳）: Gated Semantic Quality-Diversityによる自己進化型エージェントのハーネス
- Abstract要約: 配置において、ハーネスは利用可能な唯一のレバーであるため、自動的に改善することが重量に触れることなくパフォーマンスを上げる自然な方法である。
本稿では,自己進化型エージェント・ハーネス・フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.3661763716032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An LLM agent's real-task performance is shaped as much by the harness around its model as by the frozen model itself: its prompts, injected knowledge, runtime control, and configuration. In deployment the harness is often the only lever available, so improving it automatically is the natural way to raise performance without touching the weights. The hard part is not generating changes but knowing which one truly helped. Self-generated feedback is noisy, and an apparent gain can be a measurement artifact or an edit that merely overfits the tasks it was tuned on. We present a self-evolving agent-harness framework that separates proposing changes from crediting them: a language model diagnoses failures and proposes patches, while all sampling, measurement, and significance testing are owned by deterministic code, so every credited improvement is trustworthy by construction. Patches populate a gated, categorical quality-diversity archive (GSME) keyed on the (WHERE x WHY) pathology an edit addresses rather than the tasks it fixes, an anti-overfitting inductive bias; generalization is measured on a sealed test scored only after evolution. Across seven domains with a frozen open-weight model, the harness is train-selected and scored once on a sealed test; its credited gains there are +9 to +15.5pp and retain 86-147% of the training gain, evidence they generalize rather than overfit. The winning patch tracks the model's dominant pathology, not its size or family: changing the model can change the pathology and the patch, while the same pathology-to-patch match recurs across two model families. What transfers is the diagnose-and-credit loop, not any specific harness.
- Abstract（参考訳）: LLMエージェントのリアルタイムパフォーマンスは、フリーズモデル自体と同じように、モデル周辺のハーネスによって、プロンプト、インジェクションドナレッジ、ランタイムコントロール、設定によって形作られています。
配置において、ハーネスは利用可能な唯一のレバーであるため、自動的に改善することが重量に触れることなくパフォーマンスを上げる自然な方法である。
難しいのは、変更を発生させるのではなく、どれが本当に助けたのかを知ることです。
自己生成されたフィードバックは騒々しく、明らかな利益は測定成果物か、単に調整されたタスクに過度に適合する編集である可能性がある。
言語モデルは、失敗を診断し、パッチを提案する一方で、すべてのサンプリング、測定、重要度テストは決定論的コードによって所有されているので、認定された改善はすべて、建設によって信頼できる。
パッチは、(WHERE x WHY) の病理にキーされたゲート付き分類的品質多様性アーカイブ (GSME) を、修正するタスクではなく、編集アドレスとして配置する。
凍結したオープンウェイトモデルを持つ7つのドメインにまたがって、ハーネスは列車選択され、密閉試験で一度得点されるが、クレジットゲインは+9から+15.5ppであり、トレーニングゲインの86-147%を保持しており、過度に適合するよりも一般化している。
勝利パッチは、モデルのサイズや家族ではなく、モデルの支配的な病理を追跡する:モデルを変更すると、その病理とパッチの一致が2つのモデルファミリにまたがって再帰する。
転送とは、特定のハーネスではなく、診断とクレディットのループである。
関連論文リスト
- Rewarding Reasoning, Not Answers: Fixing and Bounding Test-Time Reinforcement Learning on Medical QA [40.18486858532692]
テスト時間強化学習は、多数投票の擬似ラベルを使用して、自身のラベルのないテストセットにモデルを適応させる。
このレシピは医療用多目的QAで崩壊し, 精度は停滞し, 出力の多様性は急速に低下する。
この診断はPROSE(Process Reward Guided Self-Training)を動機付け、回答合意の代わりに品質を判断する。
論文 参考訳（メタデータ） (2026-09-15T05:31:55Z) - Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails [23.287109132562403]
自動化されたハーネス進化により、より小さなモデルは、フロンティアモデルコストのごく一部で、ドメイン固有のタスクでうまく機能することができる。
模倣は知識を伝達し,足場の使用量を増加させるが,モデルハーネスの適合性を阻害することを示す。
我々は、メタレベルのMLEエージェントによって自動化され、弱いモデル自身のロールアウトにおいて失敗するターンをローカライズし、専門家にそのターンのみを書き直すよう依頼する、オンデマンドの専門家補正パイプラインを開発する。
論文 参考訳（メタデータ） (2026-09-08T17:53:49Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models [46.83445434865936]
自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。
ベンチマーク固有の適応、言語固有のエンジニアリング知識、あるいは基礎となるモデルの制限に対する補償をエンコードしているかどうかは不明だ。
論文 参考訳（メタデータ） (2026-08-10T19:45:45Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。
HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。
障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
論文 参考訳（メタデータ） (2026-06-04T15:58:30Z) - Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
論文 参考訳（メタデータ） (2026-05-28T22:16:14Z) - DemoEvolve: Overcoming Sparse Feedback in Agentic Harness Evolution with Demonstrations [12.048713464721665]
DemoEvolveは、進化を活用するためのデモブートストラップ付きのアプローチである。
我々はこのパラダイムを標本効率の速い適応の一形態として研究する。
DemoEvolveは、より効果的で監査可能なハーネス編集を生成する。
論文 参考訳（メタデータ） (2026-05-23T12:10:52Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z) - STABLE: Gated Continual Learning for Large Language Models [0.0]
STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。
各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。
Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
論文 参考訳（メタデータ） (2025-10-17T16:14:05Z) - RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment [0.0]
本稿では,Large Language Models (LLM) を利用した新しい静的APCA手法であるRePaCAを紹介する。
提案手法は,83.1%の精度と84.8%のF1スコアで最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T11:21:09Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳（メタデータ） (2023-06-16T15:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。