論文の概要: kw-bench: Breaking Frontier Harnesses on Real-World Tasks

• arxiv url: http://arxiv.org/abs/2610.36405v1
• Date: Mon, 26 Oct 2026 23:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.449179
• Title: kw-bench: Breaking Frontier Harnesses on Real-World Tasks
• Title（参考訳）: kw-bench: 現実のタスクにおけるフロンティアのハーネスを破る
• Abstract要約: kw-benchは、私たちに説明した実際のエンゲージメントの専門家によるベンチマークです。 最初のタスクファミリーは、SAPの3世代にわたる5年間のVAT再構築である。 同じモデルであるDeepSeek v4.1 Flash上で、Claude Code、Codex、OpenCode、micro-ccの4つのハーネスを2時間実行しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Each new generation of frontier model pushes the edge of what is possible. Inside a harness -- a loop, a shell, a filesystem, the ability to write and run its own code -- a model can take on increasingly difficult work. A growing body of work treats the coding-agent harness as infrastructure for knowledge work rather than a coding tool, and a new wave of benchmarks tests it there. Most of them are generative: build a financial model, a memo, a spreadsheet from a brief, judged by a rubric or by another model. Few test the expensive part of knowledge work, which is investigative. In audit, tax, due diligence, regulatory reporting, claims or any dispute over numbers, the answer already exists -- hidden in incomplete and inconsistent evidence spread across systems -- and has to be recovered and defended to the cent. We introduce kw-bench, a benchmark built from real engagements specialists described to us. Its first task family is a five-year VAT reconstruction across three generations of SAP -- legacy ECC, a partial S/4HANA migration and a consultant's redesign -- delivered as raw system extracts: page headers, local number formats, partial link tables, no documentation of how anything connects. Grading is deterministic, with no LLM judge. We ran four harnesses -- Claude Code, Codex, OpenCode and micro-cc -- on the same model, DeepSeek v4.1 Flash, for two hours. The two independent, model-agnostic harnesses delivered (OpenCode 0.542, micro-cc 0.528); the two lab harnesses, away from their home model, delivered nothing (0.00 each). What defeated them was inertia: keeping many weak signals alive across a long session. On a frontier model the task collapses. micro-cc and Claude Code on Claude Opus 5.5 scored 0.9986 and 1.000, in 22 and 25 minutes. A weeks-long engagement now costs minutes and a few dollars; below the frontier, the harness decides how far a model gets.
• Abstract（参考訳）: 新しい世代のフロンティアモデルは、可能なものの端を押します。 ハーネス - ループ、シェル、ファイルシステム、独自のコードを書いたり実行したりする機能 - の中では、モデルはますます難しい作業に取り掛かる可能性がある。 コーディングツールではなく知識労働のためのインフラとして、コーディングエージェントのハーネスを扱い、新しいベンチマークの波がそこでテストします。 金融モデル、メモ、短いスプレッドシート、ルーリックまたは他のモデルによって判断される。 調査的な知識労働の高価な部分をテストするものはほとんどありません。 監査、税、デュー・ディリジェンス、規制当局の報告、請求書、数字に関するいかなる論争でも、この答えは ― システム全体に広がる不完全で一貫性のない証拠に隠され、回復され、防衛されなければならない。 kw-benchは実際のエンゲージメントの専門家によって構築されたベンチマークです。 最初のタスクファミリは、レガシーECC、部分的なS/4HANAマイグレーション、コンサルタントの再設計の3世代にわたる5年間のVAT再構築である。 グレーディングは決定論的であり、LCM判事はいない。 同じモデルであるDeepSeek v4.1 Flash上で、Claude Code、Codex、OpenCode、micro-ccの4つのハーネスを2時間実行しました。 2つの独立したモデルに依存しないハーネス(OpenCode 0.542、micro-cc 0.528)は、彼らのホームモデルから離れた2つの実験用ハーネスは、何も提供しなかった(0.00)。 それらを破ったのは慣性であり、長いセッションで多くの弱い信号が生き残っていた。 フロンティアモデルでは、タスクが崩壊します。 Micro-ccとClaude Code on Claude Opus 5.5は22分25分で0.9986と1.000を獲得した。 数週間のエンゲージメントが数分と数ドルになった。フロンティアの下のハーネスは、モデルがどれくらいの距離に到達するかを決定する。

関連論文リスト

• Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
  既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。 長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。 19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
  論文  参考訳（メタデータ） (2026-10-14T15:24:39Z)
• Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases [3.7734715043126488]
  言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。 モデルビヘイビアを研究するための,シンプルで安価で,スケーラブルで,レプリカ可能なモデルを提案する。 それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。
  論文  参考訳（メタデータ） (2026-09-24T15:51:17Z)
• Applying Anthropic Primitives at Large Enterprises: Harness Paradigm for Knowledge Work [0.0]
  コーディングツールとガバナンスのギャップを埋めるアーキテクチャを提案する。 1つのハーネスはバックボーンとして動作します。 1つのアーティファクトはcronバックボーン、チャットサーフェスエンジン、ターミナルツールとして動作する。
  論文  参考訳（メタデータ） (2026-08-20T23:44:52Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents -- A Source-Code Study of Eleven Systems [0.0]
  本稿では,11個のコードハーネスのソースコード構造について述べる。 オーディションは、横断的な観察13と、29の繰り返しデザインパターンのカタログを生成する。 論文は18の設計勧告と90行の最小寿命の足場で締めくくられている。
  論文  参考訳（メタデータ） (2026-07-15T10:33:30Z)
• LeanMarathon: Toward Reliable AI Co-Mathematicians through Long-Horizon Lean Autoformalization [104.06650149974585]
  信頼性の高い研究レベルのLean AutoformalizationのためのマルチエージェントハーネスであるLeanMarathonを紹介します。 4つのコントラクトスコープエージェントがこの青写真を構築し、監査し、証明し、修復する。 我々は4つのErds問題にまたがる最近の2つの研究論文でLeanMarathonを評価した。
  論文  参考訳（メタデータ） (2026-06-03T20:09:39Z)
• Theory of Code Space: Do Code Agents Understand Software Architecture? [0.0]
  コードエージェントは、分離されたタスクで優れているが、アーキテクチャの理解を必要とするマルチファイルソフトウェアエンジニアリングと苦労する。 エージェントがAI探索中に一貫性のあるアーキテクチャの信念を構築し、維持し、更新できるかどうかを評価するベンチマークである、コード空間の理論(ToCS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-28T11:40:17Z)
• SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
  SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。 我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
  論文  参考訳（メタデータ） (2023-10-10T16:47:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。