論文の概要: Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents
- arxiv url: http://arxiv.org/abs/2610.32131v1
- Date: Fri, 23 Oct 2026 03:57:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.340679
- Title: Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents
- Title（参考訳）: ペアリングの諸問題:軽量符号化剤の性能, 失敗, 効率
- Abstract要約: 自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンなモデルは、ハードウェア要件を減らすことで、そのようなデプロイメントをより実現可能にする。
我々は,100のSWE-bench検証タスクを対象とした6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価により,ハーネス-モデル相互作用を評価する。
- 参考スコア（独自算出の注目度）: 9.713706982318447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-hosting coding agents is often necessary for software-engineering teams that must keep proprietary code and development traces within controlled infrastructure. Lightweight, open-weight models make such deployment more feasible by reducing hardware requirements, while strong results on repository-level benchmarks demonstrate their potential for demanding coding tasks. Deploying these models as coding agents requires pairing them with an agent harness, making their joint performance a key deployment consideration. Yet existing leaderboards primarily report fixed harness-model configurations rather than controlled comparisons across alternative pairings. To address this gap, we investigate harness-model interactions through a controlled full-factorial evaluation of six open-source harnesses and three lightweight coding models across 100 SWE-bench Verified tasks, producing 1,800 graded runs under common serving, metering, and grading conditions. For the same model, resolution rates differ by up to 44 percentage points across harnesses, while harness rankings change across models. We apply an evidence-based failure taxonomy to 1,100 unsuccessful runs and find substantial differences in failure patterns across harness-model pairings. A model's dominant failure modes under one harness need not dominate under another. Efficiency is similarly dependent on the pairing: even among model-directed loop harnesses, charged tokens per resolved task vary by more than 20-fold. These findings make harness-model selection a central deployment decision for lightweight coding agents. Strong performance with one harness or model does not guarantee similar results with another. We translate these findings into practitioner guidance for pairing selection, token-efficiency assessment, and trajectory-informed harness engineering, and release the complete experimental records and analysis artifacts.
- Abstract（参考訳）: 自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンウェイトなモデルは、ハードウェア要件を減らし、そのようなデプロイメントをより実現します。
これらのモデルをコーディングエージェントとしてデプロイするには、エージェントハーネスとペアリングする必要がある。
しかし、既存のリーダーボードでは、代替ペアリング間の比較を制御するのではなく、固定されたハーネスモデル構成を主に報告している。
このギャップに対処するために、100のSWE-bench検証タスクにまたがる6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価によるハーネスモデル相互作用を調査し、共通サーブ、メータリング、グレーディング条件下で1,800のグレードのランニングを生成する。
同じモデルでは、解像度率はハーネス毎に44パーセントまで異なるが、モデル間でランキングが変わる。
我々は,エビデンスに基づく障害分類を1,100の失敗動作に適用し,ハーネスモデルペアリング間の障害パターンにかなりの差を見出した。
モデルが支配的な障害モードを1つのハーネスで支配する必要はない。
モデル指向のループハーネスでも、解決されたタスクあたりのチャージトークンは20倍以上に変化する。
これらの結果から, ハーネスモデル選択が軽量符号化エージェントの集中配置決定となる。
1つのハーネスやモデルによる強いパフォーマンスは、他のハーネスと同じような結果を保証しません。
これらの知見を,ペアリング選択,トークン効率評価,トラジェクタインフォームド・ハーネス工学の実践的ガイダンスに翻訳し,実験記録と解析成果の完全な公開を行う。
関連論文リスト
- When Agents Fail: Model or Harness--Who's to Blame? [23.478579559973777]
LLMエージェントはモデルと実行ハーネスを組み合わせるため、エージェントベンチマークのパフォーマンスはその共同動作を反映する。
i)検証完了率(VCR)、正常にエージェントが正常に完了し、タスクの正しさに関わらず評価可能な結果を提供する方法、(ii)モデル・ハーネス・フィット、(ii)モデル・ハーネス・フィット、(iii)モデル・フィット、評価モデル間のハーネスの全体的な適合性、(iv)インタラクション・リシダル、ペアリング固有の実行強度と弱点をコンポーネントレベルの要約で隠蔽する手法、(v)トークン・ロード。
論文 参考訳（メタデータ） (2026-10-23T10:57:54Z) - Harness Self-Evolution for Long-Horizon Terminal Agents [44.784419917476214]
RiseHarnessは、モデルウェイトを固定したエージェントハーネスを改善するためのフレームワークである。
成功と失敗の両方を同じ構成下で実行することでタスクを切り替えることに重点を置いている。
論文 参考訳（メタデータ） (2026-10-20T00:36:49Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - Dissecting model behavior through agent trajectories [15.811597127775812]
私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。
このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。
i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
論文 参考訳（メタデータ） (2026-06-16T03:17:03Z) - The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。
ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。
トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
論文 参考訳（メタデータ） (2026-06-08T20:27:06Z) - Stop Comparing LLM Agents Without Disclosing the Harness [26.11566311050969]
このポジションペーパーでは、同等のフロンティア能力を持つモデル間で評価された長時間水平タスクに対して、エージェント実行ハーネスは、ラップするモデルよりもエージェントパフォーマンスの強い決定要因である、と論じている。
本稿では,BingConstraint分散の形式化と保護を行う。この体制では,性能はモデル選択よりもハーネス構成により制御され,現在の評価プロトコルはモデル改善にハーネスレベルの利得を体系的に誤っている。
論文 参考訳（メタデータ） (2026-05-07T15:24:59Z) - Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。
ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
論文 参考訳（メタデータ） (2025-10-04T11:10:07Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳（メタデータ） (2025-02-20T18:32:19Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。