論文の概要: Unified Multi-Modal Interleaved Document Representation for Information Retrieval

• arxiv url: http://arxiv.org/abs/2410.02729v1
• Date: Thu, 3 Oct 2024 17:49:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:13:18.746562
• Title: Unified Multi-Modal Interleaved Document Representation for Information Retrieval
• Title（参考訳）: 情報検索のための統一多モードインターリーブ文書表現
• Authors: Jaewoo Lee, Joonho Ko, Jinheon Baek, Soyeong Jeong, Sung Ju Hwang,
• Abstract要約: 我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
• 参考スコア（独自算出の注目度）: 57.65409208879344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Retrieval (IR) methods aim to identify relevant documents in response to a given query, which have gained remarkable attention due to their successful application in various natural language tasks. However, existing approaches typically consider only the textual information within the documents, which overlooks the fact that documents can contain multiple modalities, including texts, images, and tables. Further, they often segment each long document into multiple discrete passages for embedding, preventing them from capturing the overall document context and interactions between paragraphs. We argue that these two limitations lead to suboptimal document representations for retrieval. In this work, to address them, we aim to produce more comprehensive and nuanced document representations by holistically embedding documents interleaved with different modalities. Specifically, we achieve this by leveraging the capability of recent vision-language models that enable the processing and integration of text, images, and tables into a unified format and representation. Moreover, to mitigate the information loss from segmenting documents into passages, instead of representing and retrieving passages individually, we further merge the representations of segmented passages into one single document representation, while we additionally introduce a reranking strategy to decouple and identify the relevant passage within the document if necessary. Then, through extensive experiments on diverse information retrieval scenarios considering both the textual and multimodal queries, we show that our approach substantially outperforms relevant baselines, thanks to the consideration of the multimodal information interleaved within the documents in a unified way.
• Abstract（参考訳）: Information Retrieval (IR) 手法は,様々な自然言語タスクへの活用が成功し,注目を集めている質問に対する応答として,関連する文書を識別することを目的としている。 しかし、既存のアプローチは典型的には文書内のテキスト情報のみを考慮し、文書がテキスト、画像、テーブルを含む複数のモダリティを含むことができるという事実を見落としている。 さらに、各長いドキュメントを複数の個別のパスに分割して埋め込み、文書のコンテキスト全体と段落間の相互作用をキャプチャするのを防ぐこともしばしばある。 この2つの制限は,検索に最適な文書表現につながると論じる。 本研究は,異なるモダリティでインターリーブされた文書を均等に埋め込み,より包括的でニュアンスの高い文書表現を実現することを目的としている。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。 さらに, セグメント化文書から通路への情報損失を軽減するために, 個々の通路を表現・検索する代わりに, セグメント化文書の表現を1つの文書表現にマージすると同時に, 必要に応じて文書内の関連する通路を分離・識別するための階層化戦略も導入する。 そして,テキストとマルチモーダルクエリの両方を考慮した多種多様な情報検索シナリオに関する広範な実験により,文書内のマルチモーダル情報を考慮した統一的な手法により,本手法が関連するベースラインを大幅に上回ることを示す。

関連論文リスト

• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering [13.625303311724757]
  文書質問回答(QA)は、視覚に富む文書(VRD)を理解する上での課題を提示する 我々は,複数のページとマルチモーダル情報検索を含む研究雑誌記事に適したPDF-MVQAを提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:00:05Z)
• Leveraging Collection-Wide Similarities for Unsupervised Document Structure Extraction [61.998789448260005]
  本稿では,コレクション内の文書の典型的構造を特定することを提案する。 任意のヘッダのパラフレーズを抽象化し、各トピックを各ドキュメントのロケーションにグルーピングします。 文書間の類似性を利用した教師なしグラフベース手法を開発した。
  論文  参考訳（メタデータ） (2024-02-21T16:22:21Z)
• Mining both Commonality and Specificity from Multiple Documents for Multi-Document Summarization [1.4629756274247374]
  多文書要約タスクでは、設計した要約者が、原文書の重要な情報をカバーする短いテキストを生成する必要がある。 本稿では,文書の階層的クラスタリングに基づくマルチドキュメント要約手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T14:25:05Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Combining Deep Learning and Reasoning for Address Detection in Unstructured Text Documents [0.0]
  本研究では,非構造化文書からアドレスを検索・抽出する手法として,ディープラーニングと推論を組み合わせたハイブリッド手法を提案する。 スキャンした文書画像上のアドレス領域の境界を検出するために,視覚的深層学習モデルを用いる。
  論文  参考訳（メタデータ） (2022-02-07T12:32:00Z)
• Modeling Endorsement for Multi-Document Abstractive Summarization [10.166639983949887]
  単一文書の要約と多文書の要約の重大な違いは、文書の中で健全なコンテンツがどのように現れるかである。 本稿では,複数文書要約における文書間補完効果とその活用をモデル化する。 提案手法は各文書から合成を生成し,他の文書から有意な内容を識別する支援者として機能する。
  論文  参考訳（メタデータ） (2021-10-15T03:55:42Z)
• Multilevel Text Alignment with Cross-Document Attention [59.76351805607481]
  既存のアライメントメソッドは、1つの事前定義されたレベルで動作します。 本稿では,文書を文書間注目要素で表現するための階層的アテンションエンコーダを予め確立した新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T02:52:28Z)
• Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning [5.109216329453963]
  本稿では,新しい事前学習タスクとして,文書トピックモデリングと文書シャッフル予測を導入する。 本稿では,Longformer ネットワークアーキテクチャをバックボーンとして,複数ページの文書からのマルチモーダル情報をエンド・ツー・エンドで符号化する。
  論文  参考訳（メタデータ） (2020-09-30T05:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。