論文の概要: What to Format and How: A Benchmark and Workflow Approach for Document Formatting
- arxiv url: http://arxiv.org/abs/2606.01936v1
- Date: Mon, 01 Jun 2026 09:02:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.67525
- Title: What to Format and How: A Benchmark and Workflow Approach for Document Formatting
- Title(参考訳): フォーマットと方法 - ドキュメントフォーマットのためのベンチマークとワークフローアプローチ
- Authors: Shihao Rao, Liang Li, Jiapeng Liu, Tong Lin, Bing Li, Xiyan Gao, Peng Fu, Jing Huang, Can Ma,
- Abstract要約: 現実世界のフォーマットは、しばしば文書の内容に基づいてターゲットを特定する必要がある。
DocFormBenchは、Text-to-Formatの評価をさまざまなフォーマットに拡張するベンチマークです。
そこで我々は,修正の実行からフォーマットや方法まで,対象のローカライゼーションを分離するDocFormFlowを提案する。
- 参考スコア(独自算出の注目度): 25.500100602233076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models (LLMs) have opened up new possibilities for automated document formatting. However, real-world formatting often requires identifying targets based on document content. This content-aware setting remains challenging and underexplored, primarily due to the lack of dedicated evaluation datasets.To enable evaluation in realistic content-aware scenarios, we introduce DocFormBench, a benchmark that extends Text-to-Format evaluation to diverse formatting requirements, along with metrics for both accuracy and efficiency.To mitigate redundant document reading in existing methods during formatting, we propose DocFormFlow, a workflow formatting method that decouples target localization from modification execution into what to format and how. Extensive experiments across multiple LLMs and multimodal models show that DocFormFlow consistently improves formatting accuracy while reducing token consumption compared to representative baselines. Further analysis reveals that precise target localization is the primary factor influencing formatting performance. We hope DocFormBench and DocFormFlow will facilitate future research toward more intelligent and reliable document formatting.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、自動文書フォーマットの新しい可能性を開いた。
しかし、実世界のフォーマットは、しばしば文書の内容に基づいてターゲットを特定する必要がある。
このコンテンツ認識設定は、主に専用の評価データセットが欠如していることから、難題と過小評価されている。現実的なコンテンツ認識シナリオでの評価を可能にするために、DocFormBenchを紹介します。これは、テキストからフォーマットへの評価をさまざまなフォーマット要求に拡張するベンチマークで、精度と効率の両面から、既存の方法での冗長なドキュメント読み込みを緩和するために、変更の実行からフォーマットの方法まで、ターゲットのローカライズを分離するワークフローフォーマットであるDocFormFlowを提案します。
複数のLLMおよびマルチモーダルモデルにわたる大規模な実験により、DocFormFlowは、代表ベースラインと比較してトークン消費を減少させながら、フォーマットの精度を一貫して改善することが示された。
さらなる分析により、正確なターゲットの局所化がフォーマッティング性能に影響を及ぼす主要な要因であることが判明した。
DocFormBenchとDocFormFlowが、よりインテリジェントで信頼性の高いドキュメントフォーマットに向けた将来の研究を促進することを期待しています。
関連論文リスト
- FlexDoc: Parameterized Sampling for Diverse Multilingual Synthetic Documents for Training Document Understanding Models [4.013756026582041]
エンタープライズスケールでドキュメント理解モデルを開発するには、大きく、多様で、注釈の付いたデータセットが必要である。
スケーラブルな合成データ生成フレームワークであるFlexDocを紹介します。
FlexDocは、実際のデータセットを拡張するために使用する場合、絶対的なF1スコアを最大11%改善することを示す。
論文 参考訳(メタデータ) (2025-10-02T15:42:35Z) - DocSpiral: A Platform for Integrated Assistive Document Annotation through Human-in-the-Spiral [11.336757553731639]
多くのダウンストリームタスクにおいて、ドメイン固有の画像ベースのドキュメントから構造化されたデータを取得することが不可欠である。
多くの文書は機械可読テキストではなく画像として存在し、自動抽出システムの訓練には人間のアノテーションが必要である。
初となるHuman-in-the-Spiral補助文書アノテーションプラットフォームDocSpiralについて述べる。
論文 参考訳(メタデータ) (2025-05-06T06:02:42Z) - LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs [69.40865293066885]
本稿では,大規模言語モデル(LLM)の性能評価において,形式バイアスを考慮した最初の体系的評価を提案する。
本稿では,複数の質問回答,ラッピング,リスト,マッピングの4つのカテゴリにまたがる経験的形式バイアス評価について述べる。
論文 参考訳(メタデータ) (2024-08-16T10:45:45Z) - Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。
いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。
本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
論文 参考訳(メタデータ) (2023-10-17T15:03:30Z) - XDoc: Unified Pre-training for Cross-Format Document Understanding [84.63416346227176]
XDocは、単一のモデルで異なるドキュメントフォーマットを扱う、統合された事前訓練されたモデルである。
XDocは、トレーニング済みの個々のモデルと比較して、さまざまなダウンストリームタスクで同等またはそれ以上のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-10-06T12:07:18Z) - Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
フォーム状文書に対する任意のクエリを用いた値検索を提案する。
本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。
本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
論文 参考訳(メタデータ) (2021-12-15T01:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。