論文の概要: An Empirical Study of Harness Design for Coding Agents

• arxiv url: http://arxiv.org/abs/2609.20804v1
• Date: Thu, 17 Sep 2026 17:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.419984
• Title: An Empirical Study of Harness Design for Coding Agents
• Title（参考訳）: 符号化剤のハーネス設計に関する実証的研究
• Abstract要約: コーディングは、自律的なコーディングエージェントがモデル能力を長期のソフトウェアエンジニアリングのパフォーマンスに変換する方法を形成する。 コンポーネントレベルの比較を可能にするために、我々は3つのコンポーネント(計画、行動空間、コンテキスト管理)が変化する間に実行ループが固定された軽量な符号化ハーネスを用いてこの問題を考察した。 我々は,5つのコンテキスト管理戦略,4つのコンテキストウインドウ予算,計画と行動空間を対象とする176のマッチング設定を評価した。
• 参考スコア（独自算出の注目度）: 48.285649472537806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding harnesses shape how autonomous coding agents translate model capabilities into long-horizon software-engineering performance, yet existing work typically evaluates harnesses as monolithic systems, leaving the effectiveness of individual components unclear. To enable component-level comparisons, we study this question with a lightweight coding harness whose execution loop is fixed while three components are varied: planning, action space, and context management. Across four models evaluated on SWE-Bench Verified and Terminal-Bench 2.1, we evaluate 176 matched settings spanning five context-management strategies, four context-window budgets, and targeted ablations of planning and action space. We find that: (1) Context management becomes increasingly valuable as the context-window budget tightens, with most of its benefit coming from preventing context-overflow failures. (2) Staging rule-based elision before LLM-based summarization provides the strongest overall efficiency among the context-management strategies, whereas making elided content recoverable adds machinery that models rarely use and yields no accuracy gain. (3) Planning shifts from an accuracy scaffold for weaker models to a cost saver for stronger models, with little change in accuracy. (4) Predefined tools improve performance for models with weaker bash proficiency, whereas bash-capable models can operate effectively with a bash-only interface and achieve substantially lower cost, especially on command-line-centric tasks. Trajectory-level analysis explains these effects: context management extends execution trajectories without substantially altering agent behavior, planning changes where trajectories stop, and the action space changes the granularity at which code is written. These findings inform model- and budget-aware harness design and provide a modular framework for evaluating future harness components.
• Abstract（参考訳）: コーディングハーネスは、自律的なコーディングエージェントがモデル機能を長期のソフトウェアエンジニアリングのパフォーマンスにどのように変換するかを形作るが、既存の作業では、ハーネスをモノリシックなシステムとして評価し、個々のコンポーネントの有効性は明確でないままである。 コンポーネントレベルの比較を可能にするために、我々は3つのコンポーネント(計画、行動空間、コンテキスト管理)が変化する間に実行ループが固定された軽量な符号化ハーネスを用いてこの問題を考察した。 SWE-Bench Verified と Terminal-Bench 2.1 で評価された4つのモデルにおいて,5つのコンテキスト管理戦略,4つのコンテキストウインドウ予算,計画と行動空間を目標とした176のマッチング設定を評価した。 1) コンテキスト-ウィンドウ予算が厳格化するにつれて、コンテキスト管理はますます価値を増し、その利点のほとんどは、コンテキスト-オーバーフローの失敗を防ぐことにある。 2) LLM による要約前の規則に基づく解離は, 文脈管理戦略の中で最強の全体効率を提供する一方, 解離した内容の回収は, モデルがほとんど使用せず, 精度が向上しない機械を付加する。 (3) より弱いモデルに対する精度の足場から、より強いモデルに対するコストセーブラーへのプランニングシフトは、精度がほとんど変化しない。 (4)bashのみのインタフェースで効果的に動作し,特にコマンドライン中心のタスクにおいて,大幅なコスト削減を実現する一方,bash対応のモデルでは,事前定義されたツールによる性能向上が期待できる。 コンテキスト管理は、エージェントの振る舞いを実質的に変更することなく実行軌跡を拡張し、トラジェクトリが停止するような計画変更を計画し、アクション空間は、コードが書かれた粒度を変化させます。 これらの知見は、モデルおよび予算を考慮したハーネス設計と将来のハーネスコンポーネントを評価するためのモジュラーフレームワークを提供する。

関連論文リスト

• Context, Reasoning, and Hierarchy: A Cost-Performance Study of Compound LLM Agent Design in an Adversarial POMDP [3.774094352572544]
  プログラム状態抽象化は、使用されるトークン当たりの最大のリターンを提供する。 階層をまたいだ議論ツールの配布は、階層のみに対するパフォーマンスを低下させる。 議論のない階層分解は、ほとんどのモデルにとって最高の絶対的な性能を達成する。
  論文  参考訳（メタデータ） (2026-05-15T17:23:08Z)
• Explainable Model Routing for Agentic Workflows [0.9379969114114787]
  Topazは、エージェントルーティングに正式な監査性を導入するフレームワークである。 エージェントルーティングに形式的監査性を導入するフレームワークであるTopazを紹介する。
  論文  参考訳（メタデータ） (2026-04-04T00:11:24Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Peering Inside the Black Box: Uncovering LLM Errors in Optimization Modelling through Component-Level Evaluation [0.0]
  大規模言語モデル(LLM)のためのコンポーネントレベル評価フレームワークを提案する。 GPT-5、LLaMA 3.1命令、DeepSeek Mathを様々な複雑さの最適化問題で評価する。 その結果、GPT-5は他のモデルよりも一貫して優れており、チェーン・オブ・シンク、自己整合性、モジュール性がより効果的であることを証明している。
  論文  参考訳（メタデータ） (2025-10-19T17:47:59Z)
• TableMind: An Autonomous Programmatic Agent for Tool-Augmented Table Reasoning [10.267950603662776]
  TableMindは、データ分析と正確な数値推論のために、セキュアなサンドボックス環境で、マルチターンツールの実行、書き込み、実行を自律的に実行する、ツール統合テーブル推論エージェントである。 これらの機能を実現するために、我々は強力な事前学習言語モデルの上に構築された2段階の微調整パラダイムを採用する。
  論文  参考訳（メタデータ） (2025-09-08T02:00:31Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。