論文の概要: PereStruct: Multimodal Semantic Assembly for Robust Historical Document Parsing
- arxiv url: http://arxiv.org/abs/2606.07661v1
- Date: Wed, 03 Jun 2026 13:10:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.204061
- Title: PereStruct: Multimodal Semantic Assembly for Robust Historical Document Parsing
- Title(参考訳): PereStruct:ロバストな歴史的文書解析のためのマルチモーダルセマンティックアセンブリ
- Authors: Maksim Shandybo, Ivan Bespalov, Daniil Yefimov, Marina Kosheleva, Alexander Loukianov,
- Abstract要約: 我々は、歴史新聞を解析するための自動パイプラインを開発した。
提案手法は,1,426個の人手による全スキャンページでトレーニングされた,レイアウト解析とブロック検出のための細調整されたYOLOアーキテクチャを組み合わせたものである。
このマルチモーダル統合により最先端の性能が得られ、ブロック・トゥ・アーティクルマッピングにおけるF1スコアは0.904となる。
- 参考スコア(独自算出の注目度): 35.18016233072556
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Parsing historical documents with complex, non-standard layouts remains a fundamental bottleneck in large-scale archival digitization. Unlike modern typography, historical newspapers exhibit severe physical degradation and highly irregular page structures that confound even state-of-the-art vision-language models, presenting severe out-of-distribution challenges. We address this gap with an automated pipeline specifically designed for parsing historical newspapers, documents characterized by particularly intricate multi-column layouts. Our approach combines a fine-tuned YOLO architecture for layout analysis and block detection, trained on 1,426 fully human-annotated scanned pages, with a novel semantic assembly module that reconstructs articles by jointly modeling lexical-semantic similarity via TF-IDF, visual embeddings from our fine-tuned YOLO, and geometric layout constraints. This multi-modal integration yields state-of-the-art performance, achieving an F1 score of 0.904 on block-to-article mapping. Notably, end-to-end evaluation against vision-language models (Qwen3.6-35B-A3B and Qwen3.6-Plus) demonstrates that PereStruct achieves substantially higher fidelity (BLEU approximately 0.96 vs 0.34), validating that modular architectures excel where generic VLMs fail on complex historical layouts. To support reproducibility and advance research in this domain, we release both the training corpus of 599 annotated pages and a curated PereStruct benchmark of 93 pages with expert-verified ground-truth block-to-article mappings. This framework establishes a robust foundation for high-fidelity digitization and semantic reconstruction of complex archival materials.
- Abstract(参考訳): 複雑な非標準レイアウトで歴史文書を解析することは、大規模なアーカイブのデジタル化において基礎的なボトルネックとなっている。
現代のタイポグラフィーとは異なり、歴史新聞は、最先端のヴィジュアル言語モデルでさえも混ざり合う、深刻な物理的劣化と非常に不規則なページ構造を示しており、深刻なアウト・オブ・ディストリビューションの課題を呈している。
このギャップを、特に複雑な複数カラムレイアウトを特徴とする、歴史新聞や文書を解析するために設計された自動化パイプラインで解決する。
提案手法は,レイアウト解析とブロック検出のための細調整されたYOLOアーキテクチャと,TF-IDFによる語彙-意味的類似性,細調整されたYOLOからの視覚的埋め込み,および幾何学的レイアウト制約を併用して,記事の再構築を行うセマンティックアセンブリモジュールを組み合わせる。
このマルチモーダル統合により最先端の性能が得られ、ブロック・トゥ・アーティクルマッピングにおけるF1スコアは0.904となる。
特に、視覚言語モデルに対するエンドツーエンドの評価(Qwen3.6-35B-A3BとQwen3.6-Plus)は、PereStructがはるかに高い忠実性(BLEU は約 0.96 対 0.34 )を達成し、一般的な VLM が複雑な歴史的レイアウトで失敗するところにおいて、モジュラーアーキテクチャが優れていることを証明している。
この領域における再現性と先行研究を支援するため、599ページの注釈付きトレーニングコーパスと93ページのキュレートされたPereStructベンチマークと、専門家が検証したブロック・トゥ・アーティクルマッピングの両方を公表した。
この枠組みは、複雑なアーカイブ素材の高忠実なデジタル化と意味的再構築のための堅牢な基盤を確立する。
関連論文リスト
- MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。
コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。
我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
論文 参考訳(メタデータ) (2026-04-06T15:44:18Z) - Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training [23.87978106727431]
本稿では、堅牢なエンドツーエンド文書解析のためのデータ学習協調設計フレームワークを提案する。
本手法は,スキャン・デジタル・実世界の両方のシナリオにおいて,精度とロバスト性を向上する。
論文 参考訳(メタデータ) (2026-03-25T03:19:09Z) - MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。
複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。
2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
論文 参考訳(メタデータ) (2025-11-13T15:12:17Z) - Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing [46.14775667559124]
スキャンされた画像から文書を解析することは、テキストの段落、図形、公式、表などの複雑な要素が絡み合っているため、依然として重要な課題である。
既存の教師付き微調整手法は、様々なドキュメントタイプにまたがる一般化に苦慮し、特にアウト・オブ・ディストリビューションデータにおいて、パフォーマンスが低下する。
本稿では、正規化編集距離カウント精度と読み出し順序保存を統合した複合報酬によるレイアウト理解を最適化する強化学習フレームワークであるLayoutRLを紹介する。
Infinity-Benchは、幅広いドキュメントタイプ、言語、構造的複雑さに対して、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2025-10-17T06:26:59Z) - SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。
既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。
我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2025-08-03T23:59:31Z) - From Codicology to Code: A Comparative Study of Transformer and YOLO-based Detectors for Layout Analysis in Historical Documents [0.0]
本稿では,3つの注釈付きデータセットに対して,最先端のオブジェクト検出アーキテクチャを5つベンチマークする。
2つのトランスフォーマーモデル(Co-DETR, Grounding DINO)を3つのYOLOモデルと比較した。
構造化レイアウトの理想であるトランスフォーマーのグローバルコンテキスト認識と、視覚的に多様で複雑な文書に対するCNN-OBBモデルの優れた一般化との間には、重要なトレードオフが存在すると結論付けている。
論文 参考訳(メタデータ) (2025-06-25T11:14:04Z) - LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document
Understanding [49.941806975280045]
テキストとレイアウトの事前トレーニングは、視覚的に豊富な文書理解タスクで有効であることが証明されています。
テキスト,レイアウト,イメージをマルチモーダルフレームワークで事前学習することで,テキスト-bfLMv2を提示する。
論文 参考訳(メタデータ) (2020-12-29T13:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。