論文の概要: Beyond the Model: Demystifying Harness Effects in Software Engineering Agents

• arxiv url: http://arxiv.org/abs/2609.32459v1
• Date: Sat, 26 Sep 2026 10:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:59:19.139713
• Title: Beyond the Model: Demystifying Harness Effects in Software Engineering Agents
• Title（参考訳）: モデルを超えて - ソフトウェアエンジニアリングエージェントのハーネス効果の最小化
• Abstract要約: 大規模言語モデル(LLM)ベースのコーディングエージェントは、ソフトウェア工学のタスクにますます使われています。 SEエージェントがリポジトリと相互作用し、アクションを実行し、ソリューションを検証する方法を形作る。 本研究は,SE剤のハーネス効果に関する系統的研究である。
• 参考スコア（独自算出の注目度）: 19.918701706722356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM)-based agents are increasingly used for software engineering tasks, yet their performance is not determined by the base model alone. The agent harness substantially shapes how SE agents interact with repositories, execute actions, and validate solutions. However, the role of harness design remains insufficiently understood, especially across different models, tasks, and harness components. In this paper, we present a systematic empirical study of harness effects in SE agents. We first evaluate two representative harnesses, mini-SWE-agent and OpenCode, with ten models from two prominent open-weight model families, Qwen and DeepSeek, on three benchmarks: SWE-bench Pro, ProgramBench, and GitTaskBench. We then construct NanoHarness, a lightweight modular harness built on top of mini-SWE-agent, and use it to analyze five representative harness components: tool registry, context compression, explicit planning, subagents, and lazy skills. Experimental results show that harness effectiveness depends jointly on model capability and task type. Complex harnesses provide diminishing marginal gains on SWE-style issue repair as model capability improves, but can benefit stronger models on more complex and open-ended repository-level tasks. Component-level analysis on ProgramBench further shows that structured tool use and task-specific subagents provide the most stable improvements, while context compression and general subagents can hurt repository-generation performance. When combined, NanoHarness improves over mini-SWE-agent by 7.37 and 6.21 percentage points on Qwen3.7-Max and DeepSeek-V4-Pro, respectively, recovering most of the gains of product-level harnesses. These findings highlight harness design as a first-class factor in SE-agent performance and provide insights for building more effective and efficient coding agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのエージェントは、ソフトウェア工学のタスクにますます使われているが、そのパフォーマンスはベースモデルだけでは決定されない。 エージェントは、SEエージェントがリポジトリと相互作用し、アクションを実行し、ソリューションを検証する方法をかなり形作る。 しかし、ハーネスデザインの役割は、特に異なるモデル、タスク、ハーネスコンポーネント間で十分に理解されていない。 本稿では,SEエージェントにおけるハーネス効果の系統的研究について述べる。 最初に、SWE-bench Pro、ProgramBench、GitTaskBenchの3つのベンチマークで、QwenとDeepSeekという2つの著名なオープンウェイトモデルファミリの10つのモデルで、ミニSWE-agentとOpenCodeの2つの代表的ハーネスを評価しました。 次に、ミニSWEエージェント上に構築された軽量なモジュラーハーネスであるNanoHarnessを構築し、ツールレジストリ、コンテキスト圧縮、明示的な計画、サブエージェント、遅延スキルの5つの代表的なハーネスコンポーネントを分析します。 実験結果から, 有効性はモデル能力とタスクタイプに左右されることがわかった。 複雑なハーネスは、モデル能力が向上するにつれてSWEスタイルのイシュー修復において限界利得を減少させるが、より複雑でオープンなリポジトリレベルのタスクにおいて、より強力なモデルに恩恵を与える。 ProgramBenchのコンポーネントレベルの分析では、構造化ツールの使用とタスク固有のサブエージェントが最も安定した改善を提供する一方で、コンテキスト圧縮と一般的なサブエージェントはリポジトリ生成のパフォーマンスを損なう可能性がある。 組み合わせると、NanoHarnessはQwen3.7-MaxとDeepSeek-V4-Proでそれぞれ7.37ポイントと6.21ポイント向上し、製品レベルのハーネスのほとんどを回復する。 これらの知見は,SEエージェント性能の第一級因子としてハーネス設計を強調し,より効率的かつ効率的なコーディングエージェントを構築するための洞察を提供する。

関連論文リスト

• HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
  評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。 Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。 Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
  論文  参考訳（メタデータ） (2026-09-01T15:45:33Z)
• JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution [74.58840188662151]
  JIT-Agentは、タスク適応エージェントハーネスをオンザフライで合成するために訓練されたハーネスインテリジェンスモデルである。 JIT-Agentは、ジャスト・イン・タイムのハーネス生成のために構築された最初のモデルである。
  論文  参考訳（メタデータ） (2026-08-26T10:05:33Z)
• From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
  本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。 まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。 次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
  論文  参考訳（メタデータ） (2026-06-14T05:40:16Z)
• AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
  大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。 既存のエージェントサーチ手法には3つの大きな制限がある。 これらの課題に対処するための包括的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-06-06T12:07:23Z)
• AgentSquare: Automatic LLM Agent Search in Modular Design Space [16.659969168343082]
  大規模言語モデル(LLM)は、幅広い複雑なタスクを処理できるエージェントシステムの急速な成長をもたらした。 Modularized LLM Agent Search (MoLAS) という新しい研究課題を紹介した。
  論文  参考訳（メタデータ） (2024-10-08T15:52:42Z)
• xLAM: A Family of Large Action Models to Empower AI Agent Systems [111.5719694445345]
  AIエージェントタスク用に設計された大規模なアクションモデルであるxLAMをリリースする。 xLAMは、複数のエージェント能力ベンチマークで例外的なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-05T03:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。