論文の概要: FrontierCS 2: A Benchmark for Computer Science R&D

• arxiv url: http://arxiv.org/abs/2610.29932v1
• Date: Wed, 21 Oct 2026 16:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.261233
• Title: FrontierCS 2: A Benchmark for Computer Science R&D
• Title（参考訳）: FrontierCS 2: コンピュータサイエンスの研究開発ベンチマーク
• Abstract要約: 我々は48のオープンエンドタスクのベンチマークであるFrontierCS 2を紹介する。 私たちは、論文とその著者がリリースしたコードを取り、論文の貢献を削除します。 それぞれのパッチに対して、審査員は開発適格スコアを返すが、評価者、保持された最終スイート、参照プライベートを保持する。
• 参考スコア（独自算出の注目度）: 127.13977721494204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can LLM agents make contributions to frontier computer science R&D? We introduce FrontierCS 2, a benchmark of 48 open-ended tasks. We take a paper and the code its authors released and delete the paper's contribution. The deleted code becomes the human reference that sets the bar. Earlier open-ended benchmarks give each agent a problem statement and grade one program after the run. FrontierCS 2 places the agent inside a research environment. The agent inherits a working repository and may submit a patch at any point. For each patch, a judge returns a development-suite score but keeps the evaluator, the held-out final suite and the reference private, and grades the final submission on that suite against the reference. The tasks span 13 domains, from machine-learning systems and high-performance computing to databases, security and robotics. Beyond these 48 tasks, FrontierCS 2 keeps a private set of more than 100 tasks, to be announced in the future. We evaluate 12 agents. The best one is Claude Opus 5.5, passing 58% of its runs. No run passes on 16 tasks. A higher score is not the same as a pass: most runs that beat the reference on the combined final score still fall short on some metric or workload. On a shared capability scale for agents and tasks, the median task is roughly as difficult as what the strongest agent can handle.
• Abstract（参考訳）: LLMエージェントはフロンティアコンピュータサイエンスR&Dに貢献できるのか? 我々は48のオープンエンドタスクのベンチマークであるFrontierCS 2を紹介する。 我々は、論文とその著者がリリースしたコードを取り、論文のコントリビューションを削除する。 削除されたコードは、バーを設定する人間の参照になります。 初期のオープンエンドベンチマークは、各エージェントに問題ステートメントを与え、実行後に1つのプログラムをグレードする。 FrontierCS 2は、エージェントを研究環境内に配置する。 エージェントはワーキングリポジトリを継承し、任意の時点でパッチを提出する。 それぞれのパッチに対して、審査員は開発適点のスコアを返すが、評価器、保持された最終スイート、参照プライベートを保持し、そのスイートの最終的な提案を参照に対して評価する。 タスクは、機械学習システムや高性能コンピューティングからデータベース、セキュリティ、ロボティクスまで、13のドメインにまたがる。 これら48のタスク以外にも、FrontierCS 2は将来的に発表される100以上のタスクのプライベートセットを維持している。 我々は12のエージェントを評価した。 最高位はクロード・オプス5.5で58%を突破した。 16のタスクは実行されない。 より高いスコアはパスと同じではない: 組み合わせた最終スコアの基準を破るほとんどのランは、いくつかのメートル法やワークロードでは依然として不足している。 エージェントとタスクの共有能力尺度では、最強のエージェントが扱えるものと同じくらい、中央のタスクが難しい。

関連論文リスト

• AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
  AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-10-08T01:03:48Z)
• Open-Endedness Bench: Measuring Epistemic Process from Agent Records [16.669358445244438]
  OEBはベンチマークに依存しない方法論であり、エージェントの実行レコードのみを読み、結果スコアを決して読み出さない。 3つのベンチマークから12タスク以上を実行しています。 10のタスクのうち9つで、ベストランは、最悪の実行よりも後半で新しいアイデアを試す。
  論文  参考訳（メタデータ） (2026-10-01T23:34:37Z)
• OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine [5.42366948457573]
  OpenGameEvalは、Studio内でのエージェントゲーム開発のためのベンチマークである。 各実行は、編集されたシーンとシミュレーションされたプレイセッションの両方で実行可能チェックでスコアされる。 84のコアタスクにおいて,13のフロンティアモデルの通過率と探索行動を測定した。
  論文  参考訳（メタデータ） (2026-10-01T22:56:10Z)
• Make Code as Policy Great Again: Frontier Agents Write, Call, and Evolve Robot Tools [15.969252442943345]
  URAI(Universal Robot-Agent Interface)は、ロボットツールを構築するプログラミングエージェントと、それらをフィードバックループで使用する実行エージェントを結合する。 我々は,現実世界の7つのAgileXデュアルアームタスク,オブジェクト操作,布の折り畳み,人と対話するtic-tac-toeについて,URAIを評価した。
  論文  参考訳（メタデータ） (2026-09-30T05:23:25Z)
• Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut [0.07646713951724012]
  Timeline-Benchは56の実際のビデオ編集タスクのベンチマークである。 各タスクは、簡単なソースアセット、コンテナ、一連のテストを提供する。 テストはデリバリフォーマット、コンテンツ、およびブリーフの明示的な要件をチェックします。
  論文  参考訳（メタデータ） (2026-09-28T13:28:17Z)
• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。