論文の概要: Same Model, Different Harness: Different Coding-Agent Results
- arxiv url: http://arxiv.org/abs/2608.26218v1
- Date: Wed, 26 Aug 2026 11:55:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.125173
- Title: Same Model, Different Harness: Different Coding-Agent Results
- Title（参考訳）: 同じモデル、異なるハーネス:異なる符号化アルゴリズムによる結果
- Abstract要約: 3つのベンチマークで同じハーネスの2つの構成を比較した。
コントロールは時間順に完全な会話を供給し、処理は同一の記録を保持するが、機械的には古いツールの結果を短縮する。
厳密な状況下では、この処理は3つの圧力比較で平均1タスク当たりのフェール・ツー・パス分率(F2PF)を上昇させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A coding agent combines a model with a harness, which decides what the model sees, which tools it can use, and how the work continues. We ask whether changing the harness changes the result when the model and task stay fixed. We compare two configurations of the same harness on three coding benchmarks. The control supplies the full conversation in time order, while the treatment keeps the same record but mechanically shortens older tool results as the context fills and responds to repeated or stalled work. Under tight context, the treatment raises mean per-task fail-to-pass fraction (F2PF) in all three pressure comparisons and increases complete solutions on SWE-bench Verified and SWE-bench Pro. The tight-window Verified comparison uses 169 tasks, a 20,480-token window, and a fixed 480-second attempt endpoint; on this cohort, treatment raises mean per-task F2PF from 28 percent to 49 percent and complete solutions from 43 to 72. Without model-specific retuning, the same frozen treatment also raises both endpoints on the same cohort for three additional models with different designs. In the wide-window Qwen3.6 comparisons, observed arm outcomes are close on Verified and Pro, while FeatureBench retains a higher mean per-task F2PF under treatment. On the wide-window Verified cohort, treatment also serves fewer prompt tokens per turn. Because changing the harness changed what unchanged model weights could accomplish, coding-agent evaluations should treat the model and harness together as the tested solver.
- Abstract（参考訳）: コーディングエージェントはモデルとハーネスを組み合わせることで、モデルが見ているもの、利用可能なツール、作業の継続方法を決定する。
モデルとタスクが固定されたままで、ハーネスの変更が結果を変えるかどうかを問う。
3つのベンチマークで同じハーネスの2つの構成を比較した。
コントロールは、時間順に完全な会話を供給し、処理は同じレコードを保持するが、コンテキストが満たされ、繰り返しあるいは停止した作業に応答するにつれて、古いツールの結果を機械的に短縮する。
厳密な状況下では、この処理は3つの圧力比較すべてにおいて平均1タスク毎のフェール・ツー・パス分数(F2PF)を上昇させ、SWE-bench VerifiedとSWE-bench Proの完全解を増加させる。
厳密なウィンドウ比較では、169のタスク、20,480のウィンドウ、固定された480秒の試行エンドポイントを使用し、このコホートでは、平均的なタスク毎のF2PFが28%から49%、完全なソリューションが43から72に上昇する。
モデル固有の修正がなければ、同じ凍結処理は、異なる設計の3つの追加モデルに対して、同じコホート上に両方のエンドポイントを上昇させる。
広窓Qwen3.6の比較では、観察された腕の成果はVerifiedとProに近づき、FeatureBenchは治療中の平均F2PFを維持している。
広窓の検証コホートでは、1ターンあたりのプロンプトトークンも少ない。
ハーネスの変更はモデルウェイトに変化をもたらすため、コーディングエージェントの評価はモデルを扱い、テストされたソルバとして併用するべきである。
関連論文リスト
- HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - CONTRAMEM: Learning Self-Evolving Procedural Memory from Contrasting Multi-Model Trajectories [13.649910962870896]
CONTRAMEMは、自己進化型プロシージャメモリのための、ソースフレキシブルでトレーニング不要なフレームワークである。
GAIA2/AREのコンピュータ使用タスクでは、CONTRAMEMは成功率の2倍以上である。
論文 参考訳（メタデータ） (2026-08-23T18:11:26Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - HELIX: Model-Harness Co-evolution for Recursive Self-Improvement [8.484282837156933]
我々は,HELIXを資源追跡可能なHELIX基板として提案する。
提案手法は,現在の能力向上と,次のモデルに対する学習信号の生成方法を示す。
論文 参考訳（メタデータ） (2026-08-14T04:44:53Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。
ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。
トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
論文 参考訳（メタデータ） (2026-06-08T20:27:06Z) - Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。
我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。
本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
論文 参考訳（メタデータ） (2026-04-13T13:40:33Z) - When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。
一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。
この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2026-02-12T06:15:14Z) - AlphaApollo: Orchestrating Foundation Models and Professional Tools into a Self-Evolving System for Deep Agentic Reasoning [110.57865233597762]
自己進化型エージェント推論システムであるAlphaApolloについて述べる。
基礎モデル(FM)における2つのボトルネックに対処することを目的としている。
AlphaApolloは、意図的に検証可能な推論を可能にするために、複数のモデルをプロのツールで編成する。
論文 参考訳（メタデータ） (2025-10-05T15:42:24Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳（メタデータ） (2024-05-13T14:54:37Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。