論文の概要: Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting

• arxiv url: http://arxiv.org/abs/2505.14059v1
• Date: Tue, 20 May 2025 08:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.876525
• Title: Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting
• Title（参考訳）: Dolphin: 異種アンカーによる画像解析
• Authors: Hao Feng, Shu Wei, Xiang Fei, Wei Shi, Yingdong Han, Lei Liao, Jinghui Lu, Binghong Wu, Qi Liu, Chunhui Lin, Jingqun Tang, Hao Liu, Can Huang,
• Abstract要約: 文書画像解析は、テキストの段落、図形、公式、表などの複雑な要素が絡み合っているため、困難である。 textitDolphinは、解析-テーマ-パースパラダイムに従って、新しいマルチモーダル文書画像解析モデルである。 Dolphinは、さまざまなページレベルと要素レベルの設定で最先端のパフォーマンスを実現し、優れた効率を保証する。
• 参考スコア（独自算出の注目度）: 20.588630224794976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document image parsing is challenging due to its complexly intertwined elements such as text paragraphs, figures, formulas, and tables. Current approaches either assemble specialized expert models or directly generate page-level content autoregressively, facing integration overhead, efficiency bottlenecks, and layout structure degradation despite their decent performance. To address these limitations, we present \textit{Dolphin} (\textit{\textbf{Do}cument Image \textbf{P}arsing via \textbf{H}eterogeneous Anchor Prompt\textbf{in}g}), a novel multimodal document image parsing model following an analyze-then-parse paradigm. In the first stage, Dolphin generates a sequence of layout elements in reading order. These heterogeneous elements, serving as anchors and coupled with task-specific prompts, are fed back to Dolphin for parallel content parsing in the second stage. To train Dolphin, we construct a large-scale dataset of over 30 million samples, covering multi-granularity parsing tasks. Through comprehensive evaluations on both prevalent benchmarks and self-constructed ones, Dolphin achieves state-of-the-art performance across diverse page-level and element-level settings, while ensuring superior efficiency through its lightweight architecture and parallel parsing mechanism. The code and pre-trained models are publicly available at https://github.com/ByteDance/Dolphin
• Abstract（参考訳）: 文書画像解析は、テキストの段落、図形、公式、表などの複雑な要素が絡み合っているため、困難である。 現在のアプローチでは、専門的な専門家モデルを組み立てるか、ページレベルのコンテンツを自動回帰的に生成する。 これらの制約に対処するため、解析-then-parseパラダイムに従った新しいマルチモーダル文書画像解析モデルである \textit{Dolphin} (\textit{\textbf{Do}cument Image \textbf{P}arsing via \textbf{H}eterogeneous Anchor Prompt\textbf{in}g} を提案する。 最初の段階では、Dolphinは読み込み順にレイアウト要素のシーケンスを生成する。 アンカーとして機能し、タスク固有のプロンプトと結合したこれらの異種元素は、第2段階で並列コンテンツ解析のためにドルフィンにフィードバックされる。 Dolphinを訓練するために、我々は3000万以上のサンプルからなる大規模なデータセットを構築し、複数の粒度解析タスクをカバーした。 一般的なベンチマークと自己構築ベンチマークの両方に関する包括的な評価を通じて、Dolphinは、さまざまなページレベルと要素レベルの設定で最先端のパフォーマンスを実現し、軽量なアーキテクチャと並列解析機構によって優れた効率を確保する。 コードと事前訓練されたモデルはhttps://github.com/ByteDance/Dolphinで公開されている。

関連論文リスト

• GlyphMastero: A Glyph Encoder for High-Fidelity Scene Text Editing [23.64662356622401]
  GlyphMasteroという特殊なグリフエンコーダは、ストロークレベルの精度でテキストを生成するために、潜時拡散モデルを導出するために設計されている。 本手法は,現状のシーンテキスト編集ベースラインよりも文精度が18.02%向上した。
  論文  参考訳（メタデータ） (2025-05-08T03:11:58Z)
• DocSpiral: A Platform for Integrated Assistive Document Annotation through Human-in-the-Spiral [11.336757553731639]
  多くのダウンストリームタスクにおいて、ドメイン固有の画像ベースのドキュメントから構造化されたデータを取得することが不可欠である。 多くの文書は機械可読テキストではなく画像として存在し、自動抽出システムの訓練には人間のアノテーションが必要である。 初となるHuman-in-the-Spiral補助文書アノテーションプラットフォームDocSpiralについて述べる。
  論文  参考訳（メタデータ） (2025-05-06T06:02:42Z)
• Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism [12.289101189321181]
  Document Visual Question Answering (Document VQA)は、文書理解と自然言語処理のコミュニティから大きな関心を集めている。 最先端の単一ページのDocument VQAメソッドは、素晴らしいパフォーマンスを示しているが、マルチページのシナリオでは、これらのメソッドは苦労している。 マルチページ文書VQAタスクのための新しい手法と効率的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-29T18:07:47Z)
• Locate, Assign, Refine: Taming Customized Promptable Image Inpainting [22.163855501668206]
  本稿では,マルチモーダル・プロンプト・イメージ・インパインティング・プロジェクト,新しいタスクモデル,カスタマイズされたイメージ・インパインティングのためのデータを紹介する。 マスクプロンプトに対応する画像中の特定の領域をシームレスに塗布できる,画像塗布の新しいアプローチであるLAR-Genを提案する。 我々のLAR-Genは、ソースイメージのコンテキスト整合性、主観的アイデンティティ整合性、テキスト記述に対する局所的セマンティック整合性、滑らか性整合性を保証するために粗大な方法で採用しています。
  論文  参考訳（メタデータ） (2024-03-28T16:07:55Z)
• OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition [79.852642726105]
  多様なシナリオにまたがって視覚的なテキストを解析するための統一パラダイムを提案する。 具体的には,3つの視覚的なテキスト解析タスクを同時に処理できるOmniというユニバーサルモデルを提案する。 オムニでは、全てのタスクが統一エンコーダ・デコーダアーキテクチャ、統一目的点条件テキスト生成、統一入力表現を共有している。
  論文  参考訳（メタデータ） (2024-03-28T03:51:14Z)
• Continuous-Multiple Image Outpainting in One-Step via Positional Query and A Diffusion-based Approach [104.2588068730834]
  本稿では, 文献で未解決の2つの方向において, 画像出力の技術的フロンティアを推し進める。 トレーニング済みのバックボーンネットワークに依存しない手法を開発した。 提案手法(PQDiff)を公開ベンチマークで評価し,最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-28T13:00:38Z)
• Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval [68.61855682218298]
  クロスモーダル検索法では、画像とテキストの異なるアーキテクチャを持つ2ストリームエンコーダを用いる。 視覚タスクにおけるトランスフォーマーの最近の進歩に触発されて,トランスフォーマーとエンコーダアーキテクチャを両モードで統一することを提案する。 我々は、画像変換器、テキスト変換器、階層アライメントモジュールからなる2ストリーム変換器(textbfHierarchical Alignment Transformers, HAT)を純粋にベースとしたクロスモーダル検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-08T15:43:59Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。