論文の概要: DOGE: Towards Versatile Visual Document Grounding and Referring

• arxiv url: http://arxiv.org/abs/2411.17125v1
• Date: Tue, 26 Nov 2024 05:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:37:01.058957
• Title: DOGE: Towards Versatile Visual Document Grounding and Referring
• Title（参考訳）: DOGE: Versatile Visual Document Grounding and Referringを目指して
• Authors: Yinan Zhou, Yuxin Chen, Haokun Lin, Shuyu Yang, Li Zhu, Zhongang Qi, Chen Ma, Ying Shan,
• Abstract要約: 本稿では,2種類の高品質な文書データを生成するDOGE-Engine(DOcument Grounding and Eferring Data Engine)を提案する。 エンジンを用いて,3つの文書タイプにまたがる7つのグラウンドと参照タスクを含むDOGE-Benchを構築した。 この先駆的なMLLMは、文書画像内の複数の粒度のテキストを正確に参照し、グラウンド化することができる。
• 参考スコア（独自算出の注目度）: 46.643805932054285
• License:
• Abstract: In recent years, Multimodal Large Language Models (MLLMs) have increasingly emphasized grounding and referring capabilities to achieve detailed understanding and flexible user interaction. However, in the realm of visual document understanding, these capabilities lag behind due to the scarcity of fine-grained datasets and comprehensive benchmarks. To fill this gap, we propose the DOcument Grounding and Eferring data engine (DOGE-Engine), which produces two types of high-quality fine-grained document data: multi-granular parsing data for enhancing fundamental text localization and recognition capabilities; and instruction-tuning data to activate MLLM's grounding and referring capabilities during dialogue and reasoning. Additionally, using our engine, we construct DOGE-Bench, which encompasses 7 grounding and referring tasks across 3 document types (chart, poster, PDF document), providing comprehensive evaluations for fine-grained document understanding. Furthermore, leveraging the data generated by our engine, we develop a strong baseline model, DOGE. This pioneering MLLM is capable of accurately referring and grounding texts at multiple granularities within document images. Our code, data, and model will be open-sourced for community development.
• Abstract（参考訳）: 近年、MLLM(Multimodal Large Language Models)は、より詳細な理解とフレキシブルなユーザインタラクションを実現するための基盤と参照機能を強調している。 しかし、ビジュアルドキュメント理解の領域では、詳細なデータセットと包括的なベンチマークが不足しているため、これらの機能は遅れている。 このギャップを埋めるために,基本テキストのローカライゼーションと認識能力を向上させるための多粒度解析データと,MLLMのグラウンドディングと参照機能を活性化する命令チューニングデータという,高品質な文書データを生成するDOGE-Engine(DOGE-Engine)を提案する。 さらに,本エンジンを用いたDOGE-Benchは,3種類の文書タイプ(チャート,ポスター,PDF文書)にまたがる7つの基礎および参照タスクを含み,詳細な文書理解のための総合的な評価を提供する。 さらに,エンジンが生成するデータを活用し,強力なベースラインモデルであるDOGEを開発した。 この先駆的なMLLMは、文書画像内の複数の粒度のテキストを正確に参照し、グラウンド化することができる。 私たちのコード、データ、モデルは、コミュニティ開発のためにオープンソース化されます。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• Reminding Multimodal Large Language Models of Object-aware Knowledge with Retrieved Tags [28.368960723666458]
  MLLM(Multimodal Large Language Models)は、視覚的命令に対して正確かつ詳細な応答を提供するために必要な場合、重要な問題に対処する。 これらの問題を緩和する効果を示すが、大量の新しいデータを収集するコストがかかる。 本稿では、リッチなオブジェクト認識情報を含む検索拡張タグトークンを用いて、マッピングを強化することを提案する。
  論文  参考訳（メタデータ） (2024-06-16T08:20:12Z)
• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• EXMODD: An EXplanatory Multimodal Open-Domain Dialogue dataset [20.445453185198186]
  本稿では,データ収集における人的・資源的負担を軽減するため,MDCF(Multimodal Data Construction Framework)を提案する。 MDCFは、与えられた画像とその対応する対話を自動で説明し、ある程度の解釈可能性を提供する。 実験は、モデルの正確な理解と高品質な応答を生成する能力の間に正の相関関係を示す。
  論文  参考訳（メタデータ） (2023-10-17T03:28:29Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• SciREX: A Challenge Dataset for Document-Level Information Extraction [56.83748634747753]
  ドキュメントレベルで大規模な情報抽出データセットを作成するのは難しい。 複数のIEタスクを含む文書レベルのIEデータセットであるSciREXを紹介する。 我々は、従来の最先端のIEモデルをドキュメントレベルのIEに拡張する強力なベースラインとして、ニューラルモデルを開発する。
  論文  参考訳（メタデータ） (2020-05-01T17:30:10Z)
• Cross-Domain Document Object Detection: Benchmark Suite and Method [71.4339949510586]
  文書オブジェクト検出(DOD)は、インテリジェントな文書編集や理解といった下流タスクに不可欠である。 我々は、ソースドメインからのラベル付きデータとターゲットドメインからのラベルなしデータのみを用いて、ターゲットドメインの検出器を学習することを目的として、クロスドメインDODを調査した。 各データセットに対して、ページイメージ、バウンディングボックスアノテーション、PDFファイル、PDFファイルから抽出されたレンダリング層を提供する。
  論文  参考訳（メタデータ） (2020-03-30T03:04:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。