論文の概要: Multi-Field Adaptive Retrieval

• arxiv url: http://arxiv.org/abs/2410.20056v1
• Date: Sat, 26 Oct 2024 03:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:00.927148
• Title: Multi-Field Adaptive Retrieval
• Title（参考訳）: マルチフィールド適応検索
• Authors: Millicent Li, Tongfei Chen, Benjamin Van Durme, Patrick Xia,
• Abstract要約: MFAR(Multi-Field Adaptive Retrieval)は、構造化データ上の任意の文書インデックスに対応するフレキシブルなフレームワークである。 本フレームワークは,(1) 既存の文書のフィールドへの分解,(2) 文書クエリの条件付けによるフィールドの重要性を適応的に予測するモデル学習,という2つのステップから構成される。 提案手法により,フィールドタイプ間での濃密表現と語彙表現の最適化が実現され,既存の検索者よりも文書のランク付けが大幅に向上し,マルチフィールド構造における最先端の性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 39.38972160512916
• License:
• Abstract: Document retrieval for tasks such as search and retrieval-augmented generation typically involves datasets that are unstructured: free-form text without explicit internal structure in each document. However, documents can have a structured form, consisting of fields such as an article title, message body, or HTML header. To address this gap, we introduce Multi-Field Adaptive Retrieval (MFAR), a flexible framework that accommodates any number of and any type of document indices on structured data. Our framework consists of two main steps: (1) the decomposition of an existing document into fields, each indexed independently through dense and lexical methods, and (2) learning a model which adaptively predicts the importance of a field by conditioning on the document query, allowing on-the-fly weighting of the most likely field(s). We find that our approach allows for the optimized use of dense versus lexical representations across field types, significantly improves in document ranking over a number of existing retrievers, and achieves state-of-the-art performance for multi-field structured data.
• Abstract（参考訳）: 検索や検索拡張生成のようなタスクのドキュメント検索は、典型的には非構造化のデータセットを含む: 各文書の内部構造が明示されていない自由形式のテキスト。 しかし、ドキュメントは、記事タイトル、メッセージボディ、HTMLヘッダなどのフィールドで構成される構造化フォームを持つことができる。 このギャップに対処するために、構造化データ上の任意の種類の文書インデックスに対応する柔軟なフレームワークであるMFAR(Multi-Field Adaptive Retrieval)を導入する。 本フレームワークは,(1) 既存の文書のフィールドへの分解,(2) 文書クエリの条件付けにより,フィールドの重要性を適応的に予測するモデルを学習することにより,最も可能性の高いフィールドのオンザフライ重み付けを可能にする。 提案手法により,フィールド型間での濃密表現と語彙表現の最適化が実現され,既存の検索者よりも文書のランク付けが大幅に向上し,複数フィールド構造データに対する最先端の性能が向上することがわかった。

関連論文リスト

• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• Lightweight Spatial Modeling for Combinatorial Information Extraction From Documents [31.434507306952458]
  文書エンティティのK-nearest-neighbor(KNN)グラフに基づいて,注目度計算の新たなバイアスを取り入れたKNNフォーマを提案する。 また、多くの文書に存在する1対1のマッピング特性に対処するために、マッチング空間を用いる。 本手法はトレーニング可能なパラメータの数の観点から既存の手法と比較して非常に効率的である。
  論文  参考訳（メタデータ） (2024-05-08T10:10:38Z)
• Leveraging Collection-Wide Similarities for Unsupervised Document Structure Extraction [61.998789448260005]
  本稿では,コレクション内の文書の典型的構造を特定することを提案する。 任意のヘッダのパラフレーズを抽象化し、各トピックを各ドキュメントのロケーションにグルーピングします。 文書間の類似性を利用した教師なしグラフベース手法を開発した。
  論文  参考訳（メタデータ） (2024-02-21T16:22:21Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• SPM: Structured Pretraining and Matching Architectures for Relevance Modeling in Meituan Search [12.244685291395093]
  eコマース検索では、クエリとドキュメントの関連性は、ユーザエクスペリエンスを満たす上で必須の要件である。 本稿では,リッチな構造化文書に適合する2段階の事前学習およびマッチングアーキテクチャを提案する。 このモデルは、すでにオンラインで展開されており、Meituanの検索トラフィックを1年以上にわたって提供している。
  論文  参考訳（メタデータ） (2023-08-15T11:45:34Z)
• TransDocAnalyser: A Framework for Offline Semi-structured Handwritten Document Analysis in the Legal Domain [3.5018563401895455]
  最初の半構造化文書解析データセットを法域内に構築する。 このデータセットは、多種多様な手書きテキストと印刷テキストを組み合わせる。 本稿では,手書き半構造化文書のオフライン処理のためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T15:56:30Z)
• HRDoc: Dataset and Baseline Method Toward Hierarchical Reconstruction of Document Structures [31.868926876151342]
  本稿では,NLPおよびCVフィールドに適した新しいタスクとして,文書構造の階層的再構築を提案する。 私たちは、2500のマルチページドキュメントと200万近いセマンティックユニットからなるHRDocという大規模なデータセットを構築しました。 本稿では,この問題を解決するために,エンコーダデコーダに基づく階層型文書構造解析システム(DSPS)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T07:23:56Z)
• Multi-View Document Representation Learning for Open-Domain Dense Retrieval [87.11836738011007]
  本稿では,多視点文書表現学習フレームワークを提案する。 ドキュメントを表現し、異なるクエリに合わせるように強制するために、マルチビューの埋め込みを作成することを目的としている。 実験により,本手法は最近の成果より優れ,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-03-16T03:36:38Z)
• Spatial Dependency Parsing for Semi-Structured Document Information Extraction [29.231908055394808]
  本研究では,文書内の複雑な関係と任意の数の情報層をエンドツーエンドにモデル化するSPADE(SPA Dependency)を提案する。 我々はレシート、名刺、フォーム、請求書など、さまざまな種類の文書で評価する。
  論文  参考訳（メタデータ） (2020-05-01T22:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。