論文の概要: One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models

• arxiv url: http://arxiv.org/abs/2608.10178v1
• Date: Mon, 10 Aug 2026 19:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.799633
• Title: One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models
• Title（参考訳）: 言語とモデルにまたがる自己進化とは何か
• Abstract要約: 自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。 ベンチマーク固有の適応、言語固有のエンジニアリング知識、あるいは基礎となるモデルの制限に対する補償をエンコードしているかどうかは不明だ。
• 参考スコア（独自算出の注目度）: 46.83445434865936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving harnesses are closed-loop systems in which an agent inspects its own rollouts and edits its prompts, tools, and memory. They reliably improve coding agents in evaluations, but prior work reports aggregate gains rather than analyzing what the evolved artifacts encode. It therefore remains unclear whether they encode benchmark-specific adaptations, language-specific engineering knowledge, or compensation for limitations of the underlying model. We disentangle these factors by holding an evolution recipe fixed across a grid of eight programming languages (Multi-SWE-Bench) and three base models, and analyzing the resulting harnesses. The recipe routes every edit through a typed failure signal and records it as a falsifiable contract, making each modification attributable after evolution. Four findings emerge. (1)The loop improves held-out solve rates over both a minimal seed and the manually designed mini-SWE-agent scaffold in most cells, but with two null regions. (2)Gains compensate recoverable execution defects, where defect mass is near zero, and gain is near zero; which defect dominates is cell-specific. A harness closes the gap between what a policy can do and what it does. (3)Evolved harnesses share an abstract playbook across languages but instantiate it with almost disjoint language ecosystem machinery. (4)The shared core transfers and can be distilled into one universal harness, while an ecosystem margin resists both and requires native re-evolution. Together, these results recast the evolved harness as a legible compensation layer, shaped jointly by the language's engineering demands and the model's behavioral gaps, rather than an opaque benchmark-tuned scaffold.
• Abstract（参考訳）: 自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。 評価のコーディングエージェントを確実に改善するが、事前の作業報告では、進化したアーティファクトがエンコードしたものを分析するのではなく、ゲインを集約する。 したがって、それらがベンチマーク固有の適応、言語固有のエンジニアリング知識、または基礎となるモデルの制限に対する補償を符号化するかどうかは不明である。 我々は、8つのプログラミング言語(Multi-SWE-Bench)と3つのベースモデルからなるグリッドに固定された進化的レシピを保持し、その結果のハーネスを分析することで、これらの要因を解消する。 レシピは、タイプされた障害信号を通じて編集をルートし、それを偽造可能な契約として記録し、進化後に各修正が帰結する。 4つの発見がある。 1) このループは, 最小限のシードと手動設計のミニSWEエージェントの足場を2つのヌル領域で組み合わせて, ホールドアウト解率を向上する。 2)ガインは、欠陥質量がゼロに近い、ゲインが0に近い、回復可能な実行欠陥を補償する。 ハーネスは、ポリシーができることと何ができるかのギャップを埋めます。 (3)進化したハーネスは、言語間で抽象的なプレイブックを共有するが、ほとんど相容れない言語エコシステムの機械でインスタンス化する。 (4) 共有コアは1つの普遍的ハーネスに蒸留され, 生態系のマージンは両者に抵抗し, 自然再進化を必要とする。 これらの結果は、進化したハーネスを、不透明なベンチマークチューニングされた足場ではなく、言語の工学的要求とモデルの行動的ギャップによって共同で形成された、可逆的な補償層として再評価した。

関連論文リスト

• SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
  コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。 我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。 スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
  論文  参考訳（メタデータ） (2026-09-11T02:25:18Z)
• HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
  評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。 Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。 Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
  論文  参考訳（メタデータ） (2026-09-01T15:45:33Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity [10.3661763716032]
  配置において、ハーネスは利用可能な唯一のレバーであるため、自動的に改善することが重量に触れることなくパフォーマンスを上げる自然な方法である。 本稿では,自己進化型エージェント・ハーネス・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-15T10:26:26Z)
• Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
  i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。 まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。 第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
  論文  参考訳（メタデータ） (2026-05-28T22:16:14Z)
• Learning to Build the Environment: Self-Evolving Reasoning RL via Verifiable Environment Synthesis [37.03537014865641]
  我々は、モデルが単に問題やトレースを生成して模倣するだけでなく、それを訓練する環境を構築する、自己改善型言語モデルに対するビジョンを追求する。 このビューをEvoEnvでインスタンス化します。EvoEnvは10個のシードからPython環境を合成する単一ポリシージェネレータ、ソルバメソッドです。
  論文  参考訳（メタデータ） (2026-05-14T05:14:45Z)
• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
  Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。 AHEは3つの一致した可観測性柱を通じて課題に対処する。 10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。 SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
  論文  参考訳（メタデータ） (2026-04-28T16:55:02Z)
• CliffSearch: Structured Agentic Co-Evolution over Theory and Code for Scientific Algorithm Discovery [8.600891931062277]
  本稿では,コア進化演算子をLLMエージェントとして実装したエージェント進化フレームワークCliffSearchを提案する。 本稿では, トランスフォーマーのハイパーコネクション進化, 固定ナノGPTスタック上の発見, ネイティブ最適化アブレーションの3つのベンチマーク基盤研究の枠組みについて述べる。
  論文  参考訳（メタデータ） (2026-04-01T17:51:26Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。