論文の概要: EHI: End-to-end Learning of Hierarchical Index for Efficient Dense Retrieval

• arxiv url: http://arxiv.org/abs/2310.08891v2
• Date: Sun, 13 Oct 2024 04:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 21:41:09.695041
• Title: EHI: End-to-end Learning of Hierarchical Index for Efficient Dense Retrieval
• Title（参考訳）: EHI: 効率的な高密度検索のための階層的指標のエンドツーエンド学習
• Authors: Ramnath Kumar, Anshul Mittal, Nilesh Gupta, Aditya Kusupati, Inderjit Dhillon, Prateek Jain,
• Abstract要約: EHI(End-to-end Hierarchical Indexing)は埋め込み型検索の新しい手法である。 EHIは、MS MARCO (Dev) の MRR@10 で +1.45% 、TREC DL19 の nDCG@10 で +8.2% で、既存の最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 18.15717995719973
• License:
• Abstract: Dense embedding-based retrieval is widely used for semantic search and ranking. However, conventional two-stage approaches, involving contrastive embedding learning followed by approximate nearest neighbor search (ANNS), can suffer from misalignment between these stages. This mismatch degrades retrieval performance. We propose End-to-end Hierarchical Indexing (EHI), a novel method that directly addresses this issue by jointly optimizing embedding generation and ANNS structure. EHI leverages a dual encoder for embedding queries and documents while simultaneously learning an inverted file index (IVF)-style tree structure. To facilitate the effective learning of this discrete structure, EHI introduces dense path embeddings that encodes the path traversed by queries and documents within the tree. Extensive evaluations on standard benchmarks, including MS MARCO (Dev set) and TREC DL19, demonstrate EHI's superiority over traditional ANNS index. Under the same computational constraints, EHI outperforms existing state-of-the-art methods by +1.45% in MRR@10 on MS MARCO (Dev) and +8.2% in nDCG@10 on TREC DL19, highlighting the benefits of our end-to-end approach.
• Abstract（参考訳）: センス埋め込みに基づく検索はセマンティック検索やランキングに広く利用されている。 しかし、従来の2段階のアプローチでは、対照的な埋め込み学習と近接した近接探索(ANNS)を伴い、これらの段階間の不整合に悩まされることがある。 このミスマッチは検索性能を低下させる。 本稿では,組込み生成とANNS構造を協調的に最適化することにより,この問題に対処する新しい手法であるEnd-to-end Hierarchical Indexing(EHI)を提案する。 EHIは2つのエンコーダを利用してクエリとドキュメントを埋め込み、同時に逆ファイルインデックス(IVF)スタイルのツリー構造を学習する。 この離散構造を効果的に学習するために、EHIは木内のクエリやドキュメントによって渡される経路をエンコードする密度の高いパス埋め込みを導入している。 MS MARCO (Dev set) や TREC DL19 などの標準ベンチマークに対する大規模な評価は、従来のANNSインデックスよりもEHIの方が優れていることを示している。 同じ計算制約の下で、EHIはMS MARCO (Dev) の MRR@10 で +1.45% 、TREC DL19 の nDCG@10 で +8.2% で既存の最先端手法よりも優れており、エンドツーエンドアプローチの利点を浮き彫りにしている。

関連論文リスト

• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• Semi-Parametric Retrieval via Binary Token Index [71.78109794895065]
  Semi-parametric Vocabulary Disentangled Retrieval (SVDR) は、新しい半パラメトリック検索フレームワークである。 既存のニューラル検索手法に似た、高い有効性のための埋め込みベースのインデックスと、従来の用語ベースの検索に似た、迅速かつ費用対効果の高いセットアップを可能にするバイナリトークンインデックスの2つのタイプをサポートする。 埋め込みベースインデックスを使用する場合の高密度検索器DPRよりも3%高いトップ1検索精度と、バイナリトークンインデックスを使用する場合のBM25よりも9%高いトップ1検索精度を実現する。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• End-to-End Learning to Index and Search in Large Output Spaces [95.16066833532396]
  Extreme Multi-label Classification (XMC) は現実世界の問題を解決するための一般的なフレームワークである。 本稿では,木系インデックスを特殊重み付きグラフベースインデックスに緩和する新しい手法を提案する。 ELIASは、数百万のラベルを持つ大規模極端分類ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-16T01:34:17Z)
• Hybrid Inverted Index Is a Robust Accelerator for Dense Retrieval [25.402767809863946]
  逆ファイル構造は高密度検索を高速化する一般的な手法である。 本研究では,Hybrid Inverted Index (HI$2$)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T15:12:41Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• Micro-architectural Analysis of a Learned Index [0.0]
  ALEXはツリーベースのインメモリインデックス構造であり、機械学習モデルの階層構造で構成されている。 その結果、ALEXはストールを少なくし、異なるワークロードにまたがるインストラクションあたりのサイクル値が低いことがわかった。 一方、ALEXのアウト・オブ・バウンド・インサートを扱うのに必要な命令の量は、リクエスト毎の命令を著しく増加させる(10X)。
  論文  参考訳（メタデータ） (2021-09-17T12:13:06Z)
• Extracting Variable-Depth Logical Document Hierarchy from Long Documents: Method, Evaluation, and Application [21.270184491603864]
  我々は、長いドキュメント(HELD)から階層抽出(Hierarchy extract)というフレームワークを開発し、各物理オブジェクトを現在のツリーの適切な位置に「逐次」挿入する。 中国、イギリスの金融市場、イギリスの科学出版物から何千もの長い文書に基づく実験。 本稿では,下流経路検索タスクの性能向上に論理文書階層を用いる方法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T06:26:22Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。