論文の概要: ViBench 2.0: A Benchmark for Long-Horizon Software Building
- arxiv url: http://arxiv.org/abs/2611.05620v1
- Date: Tue, 03 Nov 2026 21:04:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.849947
- Title: ViBench 2.0: A Benchmark for Long-Horizon Software Building
- Title（参考訳）: ViBench 2.0: 長距離ソフトウェア構築のためのベンチマーク
- Abstract要約: ViBench 2.0はソフトウェア構築のためのベンチマークで、プラットフォームのモデルを選択するのに使用しています。
広く使われているソフトウェアをモデルとした17のフルスタックWeb製品は、241以上の機能要求を拡大し、完了時にのみ判断される。
ブラウザエージェントは544のテストプランを実行し、すべてのプランが実行された場合にのみビルドがパスする。
- 参考スコア（独自算出の注目度）: 3.3124445523403954
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: On Replit, our agentic engineering platform, users now build entire products without writing code, through successive feature requests to an agent. Yet existing coding benchmarks evaluate single, fully specified tasks, and many are near saturation. We introduce ViBench 2.0, a benchmark for long-horizon software building that we use to select our platform's models. Its 17 full-stack web products, modeled on widely used software, grow over 241 feature requests and are judged only when finished, as a user would judge them: a browser agent runs 544 test plans, and a build passes only if every plan does, under a grading protocol validated to keep this strict score reliable. Evaluating nine models, we find a reliability gap: the three strongest pass up to 98% of test plans yet deliver a fully working product in at most 65% of builds, and no open-weight model delivers one. The gap is closing fast: across three releases of one model family, pass@1 on the public products rises from 3% to 53% while the cost per build falls by more than half. We release eight products with the harness and grader, hold out nine, and report lessons from production use.
- Abstract（参考訳）: 当社のエージェントエンジニアリングプラットフォームであるReplitでは,エージェントへの連続的な機能要求を通じて,コードを記述せずに製品全体を構築することができます。
しかし、既存のコーディングベンチマークでは、単一で完全に指定されたタスクを評価しており、その多くが飽和状態に近い。
私たちはViBench 2.0を紹介します。これは、プラットフォームのモデルを選択するのに使用する、長期のソフトウェア構築のためのベンチマークです。
広く使用されているソフトウェアをモデルとした17のフルスタックのWeb製品は、241以上の機能要求が増加し、ユーザが判断した時にのみ判断される: ブラウザエージェントは544のテストプランを実行し、ビルドは、この厳格なスコアを維持するために検証されたグレーティングプロトコルの下で、すべてのプランが実行された場合にのみ通過する。
3つの最強の3つは、テスト計画の98%をパスするが、少なくとも65%のビルドで完全に動作する製品を提供し、オープンウェイトモデルは提供しない。
1つのモデルファミリーの3つのリリースで、公開製品のpass@1は3%から53%に上昇し、ビルドあたりのコストは半分以上減少している。
ハーネスとグレーダを備えた8つの製品をリリースし、9つを保留し、生産利用から教訓を報告します。
関連論文リスト
- ProductWebBench: Evaluating Website Continuity Beyond Task Completion [36.75409331518431]
ProductWebBenchは、生きたリポジトリで両方のスコアを付けるベンチマークである。
ターゲットだけでなく、着陸した生体システムに対してパッチを採点する。
論文 参考訳（メタデータ） (2026-10-22T11:33:00Z) - Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳（メタデータ） (2026-10-14T15:24:39Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents [19.50647108178884]
ソフトウェア工学のタスクを3つに分解して報酬ハッキング現象を研究する。
本稿では,30のシステムレベルプログラミングタスクからなるベンチマークであるSpecBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-20T16:41:51Z) - RoadmapBench: Evaluating Long-Horizon Agentic Software Development Across Version Upgrades [32.04167306620878]
RoadmapBenchは、115の長い水平コーディングタスクのベンチマークで、実際のオープンソースバージョンをアップグレードします。
各タスクはエージェントをソースバージョンコードスナップショットに配置し、マルチターゲットのロードマップ命令を提供する。
最強のクロード=オプス-4.7でも39.1%のタスクしか解決していないのに対し、最も弱いイテレーションは5.2%しか達成していない。
論文 参考訳（メタデータ） (2026-05-15T11:00:33Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - ClawBench: Can AI Agents Complete Everyday Online Tasks? [50.958690494341106]
ClawBenchは153のシンプルなタスクの評価フレームワークで、人々が人生や仕事で定期的に達成する必要がある。
ClawBenchは本番Webサイトで動作し、実世界のWebインタラクションの完全な複雑さ、動的な性質、課題を保存する。
軽量なインターセプション層は、最終的なリクエストのみをキャプチャしてブロックし、現実世界の副作用なしに安全な評価を保証する。
論文 参考訳（メタデータ） (2026-04-09T17:57:13Z) - The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution [86.4588675093384]
Toolathlonは、多様なアプリやツール、現実的な環境設定、信頼性の高い実行ベースの評価を提供する言語エージェントのベンチマークである。
このベンチマークには、手動でソースまたはクラフトされたタスクが108つ含まれており、平均20回以上にわたって複数のアプリと対話する必要がある。
Toolathlonは、より有能な言語エージェントを現実の長期タスク実行のために開発することを期待しています。
論文 参考訳（メタデータ） (2025-10-29T17:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。