論文の概要: ColPali: Efficient Document Retrieval with Vision Language Models

• arxiv url: http://arxiv.org/abs/2407.01449v3
• Date: Mon, 07 Oct 2024 07:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:41:35.674318
• Title: ColPali: Efficient Document Retrieval with Vision Language Models
• Title（参考訳）: ColPali:ビジョン言語モデルによる効率的なドキュメント検索
• Authors: Manuel Faysse, Hugues Sibille, Tony Wu, Bilel Omrani, Gautier Viaud, Céline Hudelot, Pierre Colombo,
• Abstract要約: 複数のドメイン、言語、設定にまたがる様々なページレベルの検索タスクで構成されるVisual Document Retrieval Benchmark ViDoReを紹介する。 現代のシステムの固有の欠点は、新しい検索モデルアーキテクチャであるColPaliの導入を動機付けている。 ColPaliは最新のドキュメント検索パイプラインよりも大幅に高速で、エンドツーエンドのトレーニングが可能である。
• 参考スコア（独自算出の注目度）: 15.369861972085136
• License:
• Abstract: Documents are visually rich structures that convey information through text, as well as tables, figures, page layouts, or fonts. While modern document retrieval systems exhibit strong performance on query-to-text matching, they struggle to exploit visual cues efficiently, hindering their performance on practical document retrieval applications such as Retrieval Augmented Generation. To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieving tasks spanning multiple domains, languages, and settings. The inherent shortcomings of modern systems motivate the introduction of a new retrieval model architecture, ColPali, which leverages the document understanding capabilities of recent Vision Language Models to produce high-quality contextualized embeddings solely from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically faster and end-to-end trainable.
• Abstract（参考訳）: ドキュメントは、表、図形、ページレイアウト、フォントだけでなく、テキストを介して情報を伝達する視覚的に豊かな構造である。 現代の文書検索システムは、クエリとテキストのマッチングにおいて強力な性能を示すが、視覚的手がかりを効果的に活用することは困難であり、検索拡張生成のような実用的な文書検索アプリケーションではその性能を損なう。 視覚的にリッチな文書検索に関する現在のシステムをベンチマークするために、複数のドメイン、言語、設定にまたがる様々なページレベルの検索タスクからなるVisual Document Retrieval Benchmark ViDoReを紹介する。 現代のシステムの本質的な欠点は、新しい検索モデルアーキテクチャであるColPaliの導入を動機付けている。ColPaliは、最近のビジョン言語モデルの文書理解機能を活用して、文書ページの画像のみから高品質なコンテキスト化された埋め込みを生成する。 ColPaliは、遅延インタラクションマッチング機構と組み合わせて、現代的なドキュメント検索パイプラインよりも大幅に高速でエンドツーエンドのトレーニングが可能である。

関連論文リスト

• Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction [23.47150047875133]
  文書解析は、構造化されていない文書と半構造化された文書を機械可読データに変換するのに不可欠である。 文書解析は知識ベースの構築とトレーニングデータ生成において不可欠である。 本稿では,モジュール型文書解析システムと複雑なレイアウト処理における視覚言語モデルが直面する課題について論じる。
  論文  参考訳（メタデータ） (2024-10-28T16:11:35Z)
• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• μgat: Improving Single-Page Document Parsing by Providing Multi-Page Context [26.820913216377903]
  この作品は、教皇登録書の大規模なコレクションであるRegesta Pontificum Romanumに焦点を当てている。 レゲスタは、他の文書の要約のカタログであり、場合によっては、そのような全文文書の内容に関する唯一の情報源である。
  論文  参考訳（メタデータ） (2024-08-28T09:01:18Z)
• Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism [12.289101189321181]
  Document Visual Question Answering (Document VQA)は、文書理解と自然言語処理のコミュニティから大きな関心を集めている。 最先端の単一ページのDocument VQAメソッドは、素晴らしいパフォーマンスを示しているが、マルチページのシナリオでは、これらのメソッドは苦労している。 マルチページ文書VQAタスクのための新しい手法と効率的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-29T18:07:47Z)
• Visually Guided Generative Text-Layout Pre-training for Document Intelligence [51.09853181377696]
  視覚誘導型生成テキスト事前学習(ViTLP)を提案する。 文書画像が与えられた場合、モデルは階層言語とレイアウトモデリングの目的を最適化し、インターリーブされたテキストとレイアウトシーケンスを生成する。 ViTLPは、文書画像のテキストをローカライズし、認識するためのネイティブなOCRモデルとして機能する。
  論文  参考訳（メタデータ） (2024-03-25T08:00:43Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Multi-View Document Representation Learning for Open-Domain Dense Retrieval [87.11836738011007]
  本稿では,多視点文書表現学習フレームワークを提案する。 ドキュメントを表現し、異なるクエリに合わせるように強制するために、マルチビューの埋め込みを作成することを目的としている。 実験により,本手法は最近の成果より優れ,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-03-16T03:36:38Z)
• Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning [5.109216329453963]
  本稿では,新しい事前学習タスクとして,文書トピックモデリングと文書シャッフル予測を導入する。 本稿では,Longformer ネットワークアーキテクチャをバックボーンとして,複数ページの文書からのマルチモーダル情報をエンド・ツー・エンドで符号化する。
  論文  参考訳（メタデータ） (2020-09-30T05:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。