論文の概要: WordInferBench: Can Agents Infer How to Edit from Word Document Context?
- arxiv url: http://arxiv.org/abs/2611.15189v1
- Date: Wed, 11 Nov 2026 08:36:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.083986
- Title: WordInferBench: Can Agents Infer How to Edit from Word Document Context?
- Title(参考訳): WordInferBench: エージェントは、Wordドキュメントコンテキストからどのように編集するかを推測できますか?
- Abstract要約: Word文書編集における自律エージェント評価のための既存のベンチマークは、完全に指定された属性修正命令を提供する。
280の文書編集インスタンスからなるベンチマークであるWordInferBenchを紹介する。
我々は6つの最近の符号化エージェントシステムを評価し、最も優れた評価システムであるClaude Code with Opus 4.6は、記述的変種に対して62.9%のタスクレベルのパスレートを達成しているが、推論的変種に対しては40.7%しか達成していないことを発見した。
- 参考スコア(独自算出の注目度): 101.77067483872378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Document editing is among the most common knowledge-work tasks, yet existing benchmarks for evaluating autonomous agents on Word document editing provide fully specified attribute-modification instructions. They do not evaluate agents' ability to infer the appropriate attributes from document context, a capability essential in real-world editing where users expect consistency without spelling out every attribute. We introduce WordInferBench, a benchmark comprising 280 base document-editing instances, each paired with three instruction conditions: descriptive (the instruction explicitly lists every attribute change), referential (the instruction points to another object as an exemplar), and inferential (the agent must examine document context to infer what attributes to apply). To evaluate contextual attribute inference, each base instance is constructed so that the target formatting is recoverable from an in-document exemplar. The instances are derived from real Word documents collected from Common Crawl and cover 13 object types and 81 attributes. We evaluate six recent coding-agent systems and find that the best-performing evaluated system, Claude Code with Opus 4.6, achieves a 62.9% task-level pass rate on descriptive variants but only 40.7% on inferential variants, indicating that current systems complete tasks less reliably when the required formatting changes must be determined from document context.
- Abstract(参考訳): 文書編集は、最も一般的な知識処理タスクの1つであるが、Word文書編集における自律的エージェントの評価のための既存のベンチマークは、完全な属性修正命令を提供する。
文書コンテキストから適切な属性を推測するエージェントの能力は評価されていないが、これはユーザーがすべての属性をスペルせずに一貫性を期待する現実世界の編集に不可欠な機能である。
WordInferBenchは280のドキュメント編集インスタンスからなるベンチマークで、それぞれに記述的(命令はすべての属性変更を明示的にリストする)、参照(他のオブジェクトを例示として指す)、推論(エージェントはどの属性を適用すべきかを推測するために文書コンテキストを検査する必要がある)の3つの命令条件が組み合わされている。
コンテキスト属性推論を評価するために、文書内の例から対象のフォーマットを復元できるように、各ベースインスタンスを構築する。
これらのインスタンスは、Common Crawlから収集された実際のWordドキュメントから派生したもので、13のオブジェクトタイプと81の属性をカバーしている。
我々は6つの最近の符号化エージェントシステムを評価し、最適な性能評価システムであるClaude Code with Opus 4.6は、記述的変種に対して62.9%のタスクレベルのパスレートを達成するが、推論的変種に対しては40.7%しか達成していないことを示し、必要となるフォーマット変更が文書コンテキストから決定されなければならない場合に、現在のシステムがタスクを確実に完了しないことを示す。
関連論文リスト
- WordEval: Evaluating Word-Native Operation Fidelity in Document Editing [107.75600333332538]
本稿では,Word編集操作の評価を集中する操作忠実度ベンチマークであるWordEvalを紹介する。
テキストやリスト、チャート、形状、SmartArtなど15のWord機能領域に642のケースがある。
我々は8つのエージェントシステムを評価し、特徴領域によって性能が異なるアトミックトラックで多くの苦労を経験する。
論文 参考訳(メタデータ) (2026-11-07T04:55:02Z) - DocClaw: A Unified Agentic System for Intelligent Document Processing [70.82545096015238]
本稿では,エージェントとドキュメント間のインタラクションの共有プロセスとして,多様なインテリジェントな文書処理タスクを定式化する統合エージェントシステムDocClawを紹介する。
この定式化の下で、タスク固有の要件は、エージェントのクエリ目的と対応するドキュメントスキルの解釈によってキャプチャされる。
複数のインテリジェントなドキュメント処理ベンチマークの実験では、DocClawが単一のエージェントフレームワーク内で、さまざまなタスクを効果的に処理していることが示されている。
論文 参考訳(メタデータ) (2026-08-19T08:34:48Z) - LEDGER: Scaling Agentic Document Editing with Dependency-aware Graph Retrieval [25.28453025760491]
エージェント文書編集における新しいコンテキスト工学的課題に取り組むためにLEDGERを導入する。
LEDGERは、文書構造を明示的にモデル化する軽量な依存性グラフを構築する。
各種文書の種類と長さの異なる1.9kテストケースのベンチマークでLEDGERを評価した。
論文 参考訳(メタデータ) (2026-06-19T17:35:05Z) - ObjectGraph: From Document Injection to Knowledge Traversal -- A Native File Format for the Agentic Era [0.0]
我々は OBJECTGRAPH (.og) というファイル形式を導入し,文書を入力すべき文字列ではなく,タイプされた,指示された知識グラフとして再認識する。
Every.mdファイルは有効な.ogファイルであり、2プリミティブなクエリプロトコル以外のインフラを必要としない。
論文 参考訳(メタデータ) (2026-04-30T13:03:54Z) - DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。
ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。
GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
論文 参考訳(メタデータ) (2025-10-13T13:36:32Z) - OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations [22.336858733121158]
OmniDocBenchは9つのドキュメントソースにまたがる高品質なアノテーションを特徴とする新しいベンチマークです。
パイプラインベースの手法とエンドツーエンドのビジョン言語モデルの両方を徹底的に評価する。
論文 参考訳(メタデータ) (2024-12-10T16:05:56Z) - Contextual Document Embeddings [77.22328616983417]
本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。
第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。
第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
論文 参考訳(メタデータ) (2024-10-03T14:33:34Z) - Magic Markup: Maintaining Document-External Markup with an LLM [1.0538052824177144]
修正プログラムをタグ付けし、リッチなアノテーションが進化するにつれて自動的にコードに従うことができるシステムを提案する。
我々のシステムはベンチマークで90%の精度を達成し、文書のタグを1タグあたり5秒の速さで並列に置き換えることができる。
改善の余地は残っていますが、アプリケーションのさらなる探索を正当化するのに十分なパフォーマンスが得られています。
論文 参考訳(メタデータ) (2024-03-06T05:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。