論文の概要: WordEval: Evaluating Word-Native Operation Fidelity in Document Editing
- arxiv url: http://arxiv.org/abs/2611.10475v1
- Date: Sat, 07 Nov 2026 04:55:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.694633
- Title: WordEval: Evaluating Word-Native Operation Fidelity in Document Editing
- Title(参考訳): WordEval: 文書編集におけるワードネイティブ操作の忠実性の評価
- Abstract要約: 本稿では,Word編集操作の評価を集中する操作忠実度ベンチマークであるWordEvalを紹介する。
テキストやリスト、チャート、形状、SmartArtなど15のWord機能領域に642のケースがある。
我々は8つのエージェントシステムを評価し、特徴領域によって性能が異なるアトミックトラックで多くの苦労を経験する。
- 参考スコア(独自算出の注目度): 107.75600333332538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Microsoft Word is a central environment for office automation, and the faithful execution of its editing operations is an important capability for document agents. Unlike plain-text editing, editing in Word modifies a structured object model, where the requested effect is realized in object properties. Existing benchmarks, however, evaluate office workflows or desktop automation, treating word-processor documents as one task domain among many and verifying outcomes with keyword matching, per-task property checks, or screenshot comparison. We introduce WordEval, an operation-fidelity benchmark that instead centers evaluation on Word editing operations, testing whether each requested edit is realized as intended changes to Word objects and properties. It contains 642 cases across 15 Word feature areas, ranging from text and lists to charts, shape geometry, and SmartArt. 546 atomic cases cover 231 commands, 96 compositional cases combine multiple edits in a single document, and a Word-native oracle checks task-specific object properties and preservation conditions. Cases are constructed from editing-unit specifications, yielding controlled input documents, reference documents, and aligned oracle checks. Each compositional case is linked to corresponding atomic cases, supporting fine-grained diagnosis of editing failures. We evaluate eight agent systems and find that many struggle on the Atomic track, with performance varying across feature areas. Moreover, every system scores lower on Compositional than on Atomic, with gaps that vary substantially by system. Exact atomic-intent links and recorded failure diagnoses provide complementary views of this variation.
- Abstract(参考訳): Microsoft Wordはオフィス自動化のための中心的な環境であり、その編集操作の忠実な実行はドキュメントエージェントにとって重要な機能である。
プレーンテキスト編集とは異なり、Wordの編集は、要求された効果がオブジェクトプロパティで実現される構造化オブジェクトモデルを変更する。
しかし、既存のベンチマークでは、オフィスのワークフローやデスクトップの自動化を評価し、ワードプロセッサの文書を1つのタスクドメインとして扱い、キーワードマッチング、タスクごとのプロパティチェック、スクリーンショットの比較で結果を検証する。
我々は、Wordオブジェクトやプロパティの意図した変更として、要求された各編集が実現されるかどうかを検証し、代わりにWord編集操作の評価を集中する操作忠実度ベンチマークであるWordEvalを紹介する。
テキストやリスト、チャート、形状、SmartArtなど15のWord機能領域に642のケースがある。
546のアトミックケースは231のコマンドをカバーし、96のコンポジションケースは1つのドキュメントで複数の編集を組み合わせ、Wordネイティブのオラクルはタスク固有のオブジェクトプロパティと保存条件をチェックする。
ケースは、編集ユニット仕様から構築され、制御された入力文書、参照文書、整列したオラクルチェックが生成される。
それぞれの構成症例は、対応する原子症例と関連付けられ、編集失敗のきめ細かい診断を支援する。
我々は8つのエージェントシステムを評価し、特徴領域によって性能が異なるアトミックトラックで多くの苦労を経験する。
さらに、すべてのシステムは、システムによって大きく異なるギャップを持つ、Atomicよりもコンポジションのスコアが低い。
正確な原子インテントリンクと記録された故障診断は、この変異の相補的な見解を提供する。
関連論文リスト
- Same Pixels, Different Documents: Measuring Part-Level Editability in Image Vectorization [8.11451836330381]
Pass@kは、特定のインタラクションモデルの下でkクリックで選択可能なオブジェクトを使用して、所定の編集が成功するかどうかをテストする。
我々は211の参照に対して12のオープンおよび商用メソッドを評価し、635の編集タスクを93に設定した。
論文 参考訳(メタデータ) (2026-11-06T16:25:47Z) - The Last Mile Is the File: OfficeEditBench for Preservation-Aware Office Editing [0.02546411901419288]
OfficeEditBenchは、スプレッドシート、プレゼンテーション、ドキュメントの変更スコープによるメンテナンスのための170タスクのベンチマークである。
我々は,凍結自動判定と人間の受容性とを区別しながら,メンテナンスの失敗を分析した。
論文 参考訳(メタデータ) (2026-09-28T07:25:52Z) - DocClaw: A Unified Agentic System for Intelligent Document Processing [70.82545096015238]
本稿では,エージェントとドキュメント間のインタラクションの共有プロセスとして,多様なインテリジェントな文書処理タスクを定式化する統合エージェントシステムDocClawを紹介する。
この定式化の下で、タスク固有の要件は、エージェントのクエリ目的と対応するドキュメントスキルの解釈によってキャプチャされる。
複数のインテリジェントなドキュメント処理ベンチマークの実験では、DocClawが単一のエージェントフレームワーク内で、さまざまなタスクを効果的に処理していることが示されている。
論文 参考訳(メタデータ) (2026-08-19T08:34:48Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳(メタデータ) (2026-06-23T12:57:18Z) - LEDGER: Scaling Agentic Document Editing with Dependency-aware Graph Retrieval [25.28453025760491]
エージェント文書編集における新しいコンテキスト工学的課題に取り組むためにLEDGERを導入する。
LEDGERは、文書構造を明示的にモデル化する軽量な依存性グラフを構築する。
各種文書の種類と長さの異なる1.9kテストケースのベンチマークでLEDGERを評価した。
論文 参考訳(メタデータ) (2026-06-19T17:35:05Z) - MiLDEdit: Reasoning-Based Multi-Layer Design Document Editing [67.28337411397062]
マルチレイヤ文書編集エージェント(MiLDEAgent)について紹介する。
MiLDEAgentは、レイヤワイドな理解のためのRLトレーニングされたマルチモーダル推論と、ターゲットとする修正のためのイメージエディタを組み合わせた推論ベースのフレームワークである。
MiLDEAgentは強力なレイヤ認識推論と正確な編集を実現し、すべてのオープンソースベースラインを著しく上回り、クローズドソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-01-08T04:38:07Z) - DocSAM: Unified Document Image Segmentation via Query Decomposition and Heterogeneous Mixed Learning [39.10966524559436]
文書画像のセグメンテーションは、文書解析と認識に不可欠である。
既存のメソッドはこれらのタスクを別々に処理し、その結果、一般化とリソースの浪費が制限される。
本稿では,様々な文書画像セグメンテーションタスク用に設計されたトランスフォーマーベースの統合フレームワークであるDocSAMを紹介する。
論文 参考訳(メタデータ) (2025-04-05T07:14:53Z) - Bridging the Editing Gap in LLMs: FineEdit for Precise and Targeted Text Modifications [4.751608548909266]
FineEditは、コンテキスト対応のテキスト修正のために明示的に訓練された特殊な編集モデルである。
FineEditはシングルターン編集で最先端のモデルより優れており、Llama-3.2-3Bより30%も上回り、Mistral-7B-OpenOrcaのパフォーマンスを40%以上上回っている。
論文 参考訳(メタデータ) (2025-02-19T01:41:44Z) - DocEdit-v2: Document Structure Editing Via Multimodal LLM Grounding [128.92659116774374]
大規模マルチモーダルモデル(LMM)を活用してエンドツーエンドの文書編集を行う新しいフレームワークDocEdit-v2を紹介する。
1) Doc2Commandは、興味のある編集領域(RoI)を同時にローカライズし、ユーザの編集要求を編集コマンドに曖昧にする; (2) LLMベースのコマンド改革により、元々はジェネラリストのLMMに適した編集命令に、特別なソフトウェア用に意図されたコマンドを調整して編集する; 3) DocEdit-v2は、GPT-4VやGeminiのような大規模マルチモーダルモデルを介してこれらの出力を処理し、文書レイアウトを解析し、編集を実行する。
論文 参考訳(メタデータ) (2024-10-21T19:59:04Z) - Text Editing by Command [82.50904226312451]
ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。
この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。
このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-10-24T08:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。