論文の概要: Automatic Harness Evolution for Hardware Design Verification: Can LLMs Consolidate Gains Across Discovered Harnesses?

• arxiv url: http://arxiv.org/abs/2609.28908v1
• Date: Thu, 24 Sep 2026 01:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.646771
• Title: Automatic Harness Evolution for Hardware Design Verification: Can LLMs Consolidate Gains Across Discovered Harnesses?
• Title（参考訳）: ハードウェア設計検証のための自動ハーネス進化:LLMは発見されたハーネス全体で利得を得られるか?
• Abstract要約: 固定対象モデルの周辺における自動ハーネスの進化を,12の独自設計検証根本位置化タスクを用いて検討した。 タスク毎の5回の試行で、自動的に進化したハーネスは、完了した試行を71-76%増加させ、非ヒットなタスクカバレッジを80-100%増加させた。 CVDPのクロスベンチマークケーススタディでは、自動的に進化した定義幅の修理ハーネスが142タスクの基準ベースラインよりも35.6%機能的なパスを生成した。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent behavior depends on the harness surrounding a language model, but it remains unclear whether language models can reliably improve such harnesses for hardware-design tasks. We study automatic harness evolution around a fixed subject model on 12 proprietary design-verification root-cause localization tasks. Across five trials per task, automatically evolved harnesses increased completed attempts by 71-76% and any-hit task coverage by 80-100%, while total correct attempts improved by only 18-24%. The strongest success reproducible at least twice result improved by one task, and later candidates exchanged gains across tasks rather than preserving them. An auxiliary candidate improved on a four-task validation set excluded from search but tied its baseline on a subsequent 12-task replay containing both search and validation tasks, so the selected gain did not persist across the full pool. Across the tested lineage, useful search, evidence, and finalization behaviors appeared in different candidates but did not consistently consolidate into a single harness that dominated across tasks and metrics. In a separate CVDP cross-benchmark case study, an automatically evolved defined-width repair harness produced 35.6% more functional passes than its 142-task reference baseline; the final functional verifier scored completed outputs but was not shown to the subject agent during repair. These results support archive-aware selection when evolution yields complementary specializations without consistent consolidation.
• Abstract（参考訳）: エージェントの振る舞いは言語モデルを取り巻くハーネスに依存するが、言語モデルがハードウェア設計タスクのハーネスを確実に改善できるかどうかは不明だ。 固定対象モデルの周辺における自動ハーネスの進化を,12の独自設計検証根本位置化タスクを用いて検討した。 タスク毎の5回の試行で、自動的に進化したハーネスは、完了した試行を71-76%増加させ、ヒットしたタスクのカバレッジを80～100%増加させ、完全な試行は18～24%改善した。 最強の成功は少なくとも2回は1つのタスクによって改善され、後に候補者はそれらを保存するのではなく、タスク間で利得を交換した。 補助候補は検索から除外された4タスク検証セットで改善されたが、検索と検証の両方を含む12タスクのリプレイではベースラインが結び付けられていたため、選択されたゲインは全プールにわたって持続しなかった。 テストされた系統、有用な探索、証拠、最終化の動作は、異なる候補に現れたが、タスクやメトリクスで支配される単一のハーネスに一貫して統合されなかった。 CVDPのクロスベンチマークケーススタディでは、自動進化した定義幅修理ハーネスが142タスク基準ベースラインよりも35.6%機能的なパスを生成し、最終的な機能検証器は完了した出力を得たが、修理中に対象エージェントに表示されなかった。 これらの結果は、進化が一貫した統合を伴わずに相補的な特殊化をもたらすときのアーカイブ・アウェアの選択を支援する。

関連論文リスト

• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
  既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。 私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
  論文  参考訳（メタデータ） (2026-08-27T16:12:23Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
  自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。 5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。 全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
  論文  参考訳（メタデータ） (2026-07-31T04:02:51Z)
• Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
  既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。 このプロトコルは2つの基本的な懸念を提起する。 エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
  論文  参考訳（メタデータ） (2026-07-14T00:18:42Z)
• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
  Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。 AHEは3つの一致した可観測性柱を通じて課題に対処する。 10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。 SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
  論文  参考訳（メタデータ） (2026-04-28T16:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。