論文の概要: Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents

• arxiv url: http://arxiv.org/abs/2610.20344v1
• Date: Wed, 14 Oct 2026 15:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.220737
• Title: Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
• Title（参考訳）: Doc2Harness:コーディングエージェントの長距離ハーネスエンジニアリングにおけるLLMのベンチマーク
• Abstract要約: 既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。 長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。 19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
• 参考スコア（独自算出の注目度）: 76.27019209070825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents driven by large language models are increasingly deployed on long-horizon tasks, where they use tools and modify real workspaces. How well they perform depends as much on the harness around the model as on the model itself. Existing benchmarks measure downstream task success under a fixed harness, leaving harness engineering itself unexplored. We propose Doc2Harness, a two-stage benchmark that evaluates long-horizon harness engineering directly. In Stage 1, a build model operating inside a fixed builder harness receives an interface-only contract skeleton and a development document that consolidates behavior across twelve frontier harnesses, and then constructs a complete candidate harness in an isolated container. In Stage 2, the frozen candidate harness runs in containers separate from the construction environment, one per test case, and is driven end to end by a scripted mock model. We score each test case using four observable channels, namely the requests sent to the model, the files on disk, the process exit code, and the command output; positive controls rule out vacuous passes. Across nineteen frontier models, each evaluated with three independent builds on 328 test cases, GPT-6 Astra achieves the highest pass rate at 53.05%, while the weakest model reaches 27.44%, a gap of roughly twenty-six percentage points. Even the strongest model fails nearly half of the test cases, and failures cluster around how cross-cutting functionality is split across modules. To our knowledge, Doc2Harness provides the first deterministic benchmark for measuring long-horizon harness engineering.
• Abstract（参考訳）: 大規模言語モデルによって駆動されるエージェントは、ツールを使用して実際のワークスペースを変更する、長期タスクにますますデプロイされる。 どれだけうまく機能するかは、モデル自体と同じくらい、モデルを取り巻くハーネスに依存します。 既存のベンチマークは、固定ハーネスの下でダウンストリームタスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。 長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。 ステージ1では、固定ビルダーハーネス内で動作するビルドモデルが、インターフェースのみのコントラクトスケルトンと、12のフロンティアハーネスにわたる振る舞いを統合する開発ドキュメントを受け取り、その後、独立したコンテナに完全な候補ハーネスを構築する。 ステージ2では、凍結された候補ハーネスがビルド環境とは別のコンテナで実行され、テストケース毎にひとつずつ実行され、スクリプト化されたモックモデルによってエンドツーエンドに駆動される。 テストケースは、モデルに送信されたリクエスト、ディスク上のファイル、プロセスの終了コード、コマンド出力の4つの可観測チャネルを使用してスコアします。 19のフロンティアモデルのうち、それぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達し、約26パーセントの差がある。 最強のモデルでさえ、テストケースの半分近くで失敗し、横断的な機能がモジュール間でどのように分割されるかを中心に、障害がクラスタ化されます。 我々の知る限り、Doc2Harnessは長距離ハーネスエンジニアリングを測定するための最初の決定論的ベンチマークを提供する。

関連論文リスト

• ForwardDLO: Model-Based Bimanual Shape Matching of Unconstrained Deformable Linear Objects [12.045392054359551]
  ロープ、ケーブル、その他の変形可能な線形オブジェクトは、切断からケーブルのルーティング、縫合までタスクに現れる。 モデルに基づく形状制御を汎用的に研究する。 本稿では、この固定されていないバイマニュアル設定に対して、リカレント遅延力学モデルであるForwardDLOを提案する。
  論文  参考訳（メタデータ） (2026-09-16T10:47:33Z)
• HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
  評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。 Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。 Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
  論文  参考訳（メタデータ） (2026-09-01T15:45:33Z)
• The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
  Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。 ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。 トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
  論文  参考訳（メタデータ） (2026-06-08T20:27:06Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves [1.0312968200748116]
  大規模な言語モデルは、実質的なコードと研究テキストを生成することができるが、研究ソフトウェアプロジェクトは、どちらのアーティファクトも必要としない。 我々は,幻覚の蓄積とデシンクロナイゼーションという,LM固有の障害モードを2つ同定する。 本研究では,1つのワークスペース状態の座標として,アイデア,実装,評価,グラウンド,ペーパーライティングを編成する反復的プロンプトであるComet-Hを提案する。
  論文  参考訳（メタデータ） (2026-04-29T21:28:17Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
  我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。 コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。 我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
  論文  参考訳（メタデータ） (2026-04-06T15:44:18Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。