論文の概要: Contextual Document Embeddings

• arxiv url: http://arxiv.org/abs/2410.02525v4
• Date: Fri, 08 Nov 2024 16:26:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 18:11:20.756651
• Title: Contextual Document Embeddings
• Title（参考訳）: コンテキスト文書埋め込み
• Authors: John X. Morris, Alexander M. Rush,
• Abstract要約: 本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
• 参考スコア（独自算出の注目度）: 77.22328616983417
• License:
• Abstract: Dense document embeddings are central to neural retrieval. The dominant paradigm is to train and construct embeddings by running encoders directly on individual documents. In this work, we argue that these embeddings, while effective, are implicitly out-of-context for targeted use cases of retrieval, and that a contextualized document embedding should take into account both the document and neighboring documents in context - analogous to contextualized word embeddings. We propose two complementary methods for contextualized document embeddings: first, an alternative contrastive learning objective that explicitly incorporates the document neighbors into the intra-batch contextual loss; second, a new contextual architecture that explicitly encodes neighbor document information into the encoded representation. Results show that both methods achieve better performance than biencoders in several settings, with differences especially pronounced out-of-domain. We achieve state-of-the-art results on the MTEB benchmark with no hard negative mining, score distillation, dataset-specific instructions, intra-GPU example-sharing, or extremely large batch sizes. Our method can be applied to improve performance on any contrastive learning dataset and any biencoder.
• Abstract（参考訳）: 複雑なドキュメントの埋め込みは、ニューラル検索の中心である。 主要なパラダイムは、個々のドキュメントに直接エンコーダを実行することによって、埋め込みをトレーニングし、構築することである。 本研究では,これらの埋め込みは,検索対象のユースケースに対して暗黙的に文脈外であるとともに,文脈的文書の埋め込みは,文脈的文書の埋め込みと類似した文脈的文書の両方を考慮に入れるべきである,と論じる。 第1に,文書をバッチ内のコンテキスト損失に明示的に組み込んだコントラスト学習目標,第2に,隣接する文書情報を符号化された表現に明示的にエンコードする新しいコンテクストアーキテクチャを提案する。 その結果,両手法はいくつかの設定においてビエンコーダよりも優れた性能を示し,特にドメイン外発音の差が見られた。 MTEBベンチマークでは、強い負のマイニング、スコアの蒸留、データセット固有の命令、GPU内サンプル共有、あるいは非常に大きなバッチサイズなしで、最先端の結果が得られます。 本手法は, 対照的な学習データセットやビエンコーダの性能向上に有効である。

関連論文リスト

• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• Cross-Modal Entity Matching for Visually Rich Documents [4.8119678510491815]
  視覚的にリッチなドキュメントは、視覚的な手がかりを使ってセマンティクスを強化します。 これらのドキュメントの構造化クエリを可能にする既存の作業は、これを考慮に入れない。 この制限に対処するクロスモーダルなエンティティマッチングフレームワークであるJunoを提案する。
  論文  参考訳（メタデータ） (2023-03-01T18:26:14Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• Contextualization for the Organization of Text Documents Streams [0.0]
  テキスト文書のストリームを探索するストリーム解析手法について,いくつかの実験を行った。 テキストドキュメントのフラックスを探索し、分析し、整理するために、動的アルゴリズムのみを使用します。
  論文  参考訳（メタデータ） (2022-05-30T22:25:40Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Combining Deep Learning and Reasoning for Address Detection in Unstructured Text Documents [0.0]
  本研究では,非構造化文書からアドレスを検索・抽出する手法として,ディープラーニングと推論を組み合わせたハイブリッド手法を提案する。 スキャンした文書画像上のアドレス領域の境界を検出するために,視覚的深層学習モデルを用いる。
  論文  参考訳（メタデータ） (2022-02-07T12:32:00Z)
• Coherence-Based Distributed Document Representation Learning for Scientific Documents [9.646001537050925]
  本研究では,科学文書の表現を学習するために,結合テキストペア埋め込み(CTPE)モデルを提案する。 我々は、異なる文書から2つの部分を持つ非結合テキストペアを構築するために、負のサンプリングを使用する。 テキストペアが結合されているか、アンカップリングされているかを判断するためにモデルを訓練し、結合されたテキストペアの埋め込みを文書の埋め込みとして使用する。
  論文  参考訳（メタデータ） (2022-01-08T15:29:21Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)
• Document Network Projection in Pretrained Word Embedding Space [7.455546102930911]
  本稿では,リンクされた文書の集合を事前学習した単語埋め込み空間に投影する新しい手法である正規化線形埋め込み(RLE)を提案する。 我々は相補的な情報を提供するペアワイズ類似性の行列を利用する(例えば、引用グラフ内の2つの文書のネットワーク近接)。 ドキュメント表現は、レコメンデーション、分類、クラスタリングなど、多くの情報検索タスクを解決するのに役立つ。
  論文  参考訳（メタデータ） (2020-01-16T10:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。