論文の概要: GDP.xlsx: Benchmarking Frontier Models on Professional Workbooks
- arxiv url: http://arxiv.org/abs/2611.17766v1
- Date: Fri, 13 Nov 2026 05:24:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.309958
- Title: GDP.xlsx: Benchmarking Frontier Models on Professional Workbooks
- Title(参考訳): GDP.xlsx: プロフェッショナルワークブックのフロンティアモデルのベンチマーク
- Abstract要約: GDP_Iは、13のドメインの専門家によって書かれた現実的な職場要求のベンチマークである。
厳格なpass@1でモデルをランク付けします。
- 参考スコア(独自算出の注目度): 0.13579757545152057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce GDP_xlsx, a benchmark of 70 realistic workplace requests written by professionals in 13 domains, each paired with an expert rubric of binary criteria and with the complete workbook or CSV file it refers to. Together the files hold 2.18 million populated cells, and the rubrics 791 criteria. Agents work in a container with spreadsheet tools, and an agentic judge that can open the file applies the rubric. Completeness and exclusivity criteria require set-valued answers to be found in full and with nothing extra. We rank models by strict pass@1, the share of attempts that meet every criterion. Across 20 model configurations, including frontier models from Google, Anthropic, and OpenAI, the top-scoring one, Gemini 4 Argon, passes only 38.3% of attempts, and the median score is 19.3%, leaving wide headroom. We release the evaluation harness and three public tasks; the other 67 are held out to protect the leaderboard from contamination.
- Abstract(参考訳): GDP_xlsxは、13のドメインの専門家によって書かれた70のリアルな職場要求のベンチマークであり、それぞれがバイナリ基準のエキスパートルーリックと、それが参照する完全なワークブックまたはCSVファイルとの組み合わせである。
ファイルには人口218万の細胞と761の基準がある。
エージェントはスプレッドシートツールを備えたコンテナで動作し、ファイルをオープンできるエージェントジャッジがルーリックを適用します。
完全性および排他的基準は、完全な結果と余分な結果に見出さなければならない。
厳格なpass@1でモデルをランク付けします。
Google、Anthropic、OpenAIのフロンティアモデルを含む20モデル構成で、トップスコアのGemini 4 Argonは38.3%の試行に過ぎず、中央値は19.3%で、広いヘッドルームを残している。
評価ハーネスと3つの公的なタスクを解放し、その他の67は、リーダボードを汚染から守るために保持される。
関連論文リスト
- ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases [0.4253810477898188]
ExpertCrowd-SWEは、100名の専門家によるマルチファイルソフトウェアエンジニアリングタスクのベンチマークである。
各タスクは、実際のリポジトリのピン留めされたコミットに対して、実践的なエンジニアによって書かれた変更要求である。
タスクは87のオープンソースプロジェクトと11の言語にまたがる。
論文 参考訳(メタデータ) (2026-11-09T21:20:57Z) - Dual Exam: Controlled Evaluation of Multimodal Agents and World Models [183.81513687551828]
本稿では, エージェントを固定環境応答機構下で, エージェントを固定行動介入下で, ワールドモデルでテストするDual Examを紹介する。
エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。
World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
論文 参考訳(メタデータ) (2026-10-22T10:44:35Z) - ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry [0.0]
4モデルから4,249回,26モデルから4,486回,タンパク質構造タスクのスイートであるProteinGeoBenchについて検討した。
4つのフロンティアモデルのうち3つは互いに0.031(0.785から0.816)の範囲内にあり、その差は解消されず、第4スコアは0.707、第3スコアは0である。
評価予算にも依存しており、タスク毎に1回実行され、23.9%の複製がまず異なるモデルで実行される。
論文 参考訳(メタデータ) (2026-10-19T17:55:38Z) - Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳(メタデータ) (2026-10-14T15:24:39Z) - HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following [0.8998688639218773]
Handbook_mdは、従業員が会社のハンドブックに従う方法をモデル化した65のエージェントタスクのベンチマークである。
タスクは5つのドメイン(ファイナンス、医療請求、保険、物流、人事)と10の架空の会社にまたがる。
それぞれのタスクは、要求されたアクションが発生し、禁止されたアクションが起こらなかったことの両方をチェックする、プログラム的な基準のルーリックを持っています。
論文 参考訳(メタデータ) (2026-07-28T07:58:07Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳(メタデータ) (2026-07-23T04:34:06Z) - Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。
この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。
我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。
より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
論文 参考訳(メタデータ) (2026-06-09T14:59:14Z) - Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark [4.626261940793026]
我々は,661列のPiSARのホールドアウトスライスのフロンティアゼロショットベースラインに対して,教師付き微調整モデル3つをベンチマークした。
すべてのモデル、フロンティアまたは微調整は、同じスコアリングパイプラインを持つ661ロースライスで評価される。
論文 参考訳(メタデータ) (2026-05-28T05:49:36Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳(メタデータ) (2026-05-08T09:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。