論文の概要: Toward Evidence-Based Agentic Software Engineering
- arxiv url: http://arxiv.org/abs/2610.35348v1
- Date: Mon, 26 Oct 2026 12:40:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.929551
- Title: Toward Evidence-Based Agentic Software Engineering
- Title（参考訳）: エビデンスに基づくエージェントソフトウェア工学を目指して
- Abstract要約: エージェントコーディングツールのタスク成功率と実行コストは、モデルとハーネスの両方に依存します。
我々は2025年から2026年の間に146の査読付き全文で報告された325の実験を質的に注釈付けした。
私たちは、エージェントコーディングツールやSEの会場で実験のあらゆる自由度を報告し、特定のリファレンスハーネスリリースに関する専用トラックのパイロットや特別な問題を報告するようコミュニティに呼びかけます。
- 参考スコア（独自算出の注目度）: 12.261894106066082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task success rates and execution costs of agentic coding tools depend on both model and harness. The harness manages context, provides tools, and runs the agent loop. In empirical software engineering (SE) studies, comparisons that change model and harness together cannot isolate their effects. We qualitatively annotated 325 experiments reported in 146 peer-reviewed full papers published between 2025 and 2026. We examined the reported configurations and whether comparisons isolated harness effects, including harness configuration and version, model, tasks, and user interaction. The exact version of every harness used was reported for only 15 experiments. For five, the paper reported when the experiments were run, and for 31, authors shared execution traces for every session. Of the 226 experiments comparing harnesses, 35 never varied the harness in isolation. Based on this analysis, we derive requirements for a reference harness that the SE community can use for experiments. We call on the community to report all degrees of freedom of experiments with agentic coding tools and on SE venues to pilot dedicated tracks or special issues around a specified reference harness release. In these tracks, papers would hold the harness version fixed and vary features through separately versioned extensions to isolate feature effects and test their interactions.
- Abstract（参考訳）: エージェントコーディングツールのタスク成功率と実行コストは、モデルとハーネスの両方に依存します。
ハーネスはコンテキストを管理し、ツールを提供し、エージェントループを実行する。
経験的ソフトウェアエンジニアリング(SE)研究では、モデルを変更し、一緒に利用する比較は、その効果を分離することができない。
我々は2025年から2026年の間に146の査読付き全文で報告された325の実験を質的に注釈付けした。
報告された構成と、ハーネス構成とバージョン、モデル、タスク、ユーザインタラクションを含む、分離されたハーネス効果の比較を検討した。
使用したすべてのハーネスの正確なバージョンは、わずか15の実験で報告された。
5年間、論文は実験が実行されたことを報告し、31年間、著者はセッション毎に実行トレースを共有した。
ハーネスを比較する226の実験のうち、35は単独でハーネスを変更することはなかった。
この分析に基づいて、SEコミュニティが実験に使用できるリファレンスハーネスの要件を導出する。
私たちは、エージェントコーディングツールやSEの会場で実験のあらゆる自由度を報告し、特定のリファレンスハーネスリリースに関する専用トラックのパイロットや特別な問題を報告するようコミュニティに呼びかけます。
これらのトラックでは、論文は、機能エフェクトを分離し、それらの相互作用をテストするために、ハーネスバージョンを固定し、別々にバージョン管理された拡張を通じて様々な機能を保持する。
関連論文リスト
- Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents [9.713706982318447]
自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンなモデルは、ハードウェア要件を減らすことで、そのようなデプロイメントをより実現可能にする。
我々は,100のSWE-bench検証タスクを対象とした6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価により,ハーネス-モデル相互作用を評価する。
論文 参考訳（メタデータ） (2026-10-23T03:57:58Z) - Object-Oriented Harness: Evolving Agent Harnesses through Object-Oriented Design [87.6090848775129]
Object-Oriented Harness(OO-Harness)はオブジェクト指向設計を用いて実行可能なハーネスクラスの階層を進化させるフレームワークである。
OO-Harnessは、比較したメソッドの中で最高のパフォーマンスを達成し、絶対的な改善は、ベース上で最大15%である。
論文 参考訳（メタデータ） (2026-10-20T15:32:52Z) - Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳（メタデータ） (2026-10-14T15:24:39Z) - MedicalHarness: A Controlled Evaluation of LLMs and Agent Harnesses on Medical Tasks [31.961716768954236]
医療エージェントのハーネスでどれだけの結果が変わるかは、めったに測定されていない。
医療タスクにおけるモデルとエージェントハーネスの制御された研究であるメディカルハーネスについて紹介する。
我々は、ハーネスとそのモデルとの相互作用が結果のばらつきの約4分の1を占めることを発見した。
論文 参考訳（メタデータ） (2026-10-05T04:22:28Z) - Harness-Zero: Harness Distillation via Agent-as-Harness [25.405498734061165]
Harness-Zeroは、エージェント・アズ・ハーネスによる蒸留を可能にする。
結果として生じる軌道の微調整は、ハーネスによって引き起こされる振る舞いをモデルに内在させる。
論文 参考訳（メタデータ） (2026-09-21T17:55:20Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - Automated Discovery Has No Universally Superior Harness [63.53666712024897]
我々はOpenEvolveスタイルの進化的探索とTT-Discoverサーチハーネスを構成成分に分解する。
12組のモデルプロブレムペアで30個の予算整合ハーネスを評価した。
論文 参考訳（メタデータ） (2026-07-20T17:59:37Z) - MemoHarness: Agent Harnesses That Learn from Experience [46.167787606315585]
私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。
MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、ケースごとの診断と蒸留されたグローバルパターンを二重層体験バンクに格納する。
MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。
論文 参考訳（メタデータ） (2026-07-14T21:22:18Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。