論文の概要: Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam?

• arxiv url: http://arxiv.org/abs/2606.10956v1
• Date: Tue, 09 Jun 2026 14:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.568953
• Title: Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam?
• Title（参考訳）: マインド・ザ・ギャップ:フロンティアのLLMは標準化されたオフィスの熟練試験に合格できるか?
• Authors: Tengchao Lv, Dongdong Zhang, Jiayu Ding, Yilin Jia, Yuzhong Zhao, Yupan Huang, Wenshan Wu, Xiangyang Zhou, Shaohan Huang, Nan Yang, Li Dong, Lei Cui, Furu Wei,
• Abstract要約: コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。 この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。 我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。 より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
• 参考スコア（独自算出の注目度）: 90.39633603556767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deployment of Large Language Model (LLM) agents for computer automation is accelerating, yet their ability to navigate complex, professional-grade productivity software is largely untested. We argue that Office automation is an ideal environment for benchmarking document-automation capability, as it requires long-horizon planning and reasoning, precise parameter configuration, and multi-application integration. To quantify this capability, we introduce an evaluation based on China's National Computer Rank Examination (NCRE), featuring 200 comprehensive practical-operation tasks across Word, Excel, and PowerPoint. Each task is scored on a 100-point rubric scale using 7,118 machine-gradable criteria, and Score Rate (SR) denotes the mean percentage of rubric points earned across these tasks. We benchmark 7 frontier LLMs and observe stark limitations: single-turn models score a maximum of 36.6%. A stronger agentic system with execution feedback, iterative repair, and broader Office automation access reaches 68.8%, but remains below the 95.5% community-reference score used as a scoring sanity check. Ultimately, our experiments demonstrate that despite recent advancements in code generation, achieving reliable fine-grained Office document automation remains a significant challenge for current code-generating LLM and agent systems.
• Abstract（参考訳）: コンピュータ自動化のためのLarge Language Model (LLM)エージェントのデプロイは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。 Officeの自動化は、長期計画と推論、正確なパラメータ設定、マルチアプリケーション統合を必要とするため、文書自動機能のベンチマークに理想的な環境である、と我々は主張する。 この能力を定量化するために,Word,Excel,PowerPointにまたがる200の総合的な実用運用タスクを特徴とする,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。 各タスクは7,118の機械グレード可能な基準を用いて100点のルーリックスケールでスコアされ、スコアレート(SR)はこれらのタスクで得られたルーリックポイントの平均パーセンテージを表す。 我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。 より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。 最終的に、我々の実験は、コード生成の最近の進歩にもかかわらず、信頼性の高いOfficeドキュメントの自動化は、現在のコード生成LLMおよびエージェントシステムにとって重要な課題であることを示した。

関連論文リスト

• SWE-Universe: Scale Real-World Verifiable Environments to Millions [84.63665266236963]
  SWE-Universeは、GitHubのプルリクエスト(PR)から検証可能な環境を自動的に構築するフレームワークである。 本稿では, 自動建築の課題を克服するために, 効率的なカスタムトレーニングモデルを用いた建築エージェントを提案する。 大規模エージェントによる中等教育と強化学習を通じて,環境の重要さを実証する。
  論文  参考訳（メタデータ） (2026-02-02T17:20:30Z)
• Agentic RAG for Software Testing with Hybrid Vector-Graph and Multi-Agent Orchestration [0.0]
  本稿では,品質工学(QE)アーティファクト作成のためのRAGシステムを用いたソフトウェアテスト自動化手法を提案する。 我々は、自律型AIエージェントとハイブリッドベクトルグラフ知識システムを組み合わせて、テスト計画、ケース、QEメトリクス生成を自動化する。
  論文  参考訳（メタデータ） (2025-10-12T22:25:15Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• OfficeBench: Benchmarking Language Agents across Multiple Applications for Office Automation [51.27062359412488]
  Officeの自動化は、ワークフローでルーチンタスクを自動的に終了することで、人間の生産性を著しく向上させる。 OfficeBenchは、現実的なオフィスにおけるオフィスタスクに対処する現在のLLMエージェントの能力を評価するための、最初のオフィス自動化ベンチマークの1つです。 各タスクにカスタマイズした評価手法を適用すると、GPT-4 Omniは47.00%の最高パス率を達成し、オフィスタスクの処理に優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-26T19:27:17Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology [4.2990995991059275]
  大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学の分野を変えました。 我々は,大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化するように設計された,新しいシステムであるCodePoriを紹介する。 結果: CodePoriは、典型的なソフトウェア開発プロセスに合わせて、大規模プロジェクトの実行コードを生成することができる。
  論文  参考訳（メタデータ） (2024-02-02T13:42:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。