論文の概要: Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers

• arxiv url: http://arxiv.org/abs/2411.04403v1
• Date: Thu, 07 Nov 2024 03:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:48.937970
• Title: Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers
• Title（参考訳）: 推論なし学習スパース検索の競争的検索関連性に向けて
• Authors: Zhichao Geng, Dongyu Ru, Yang Yang,
• Abstract要約: 推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
• 参考スコア（独自算出の注目度）: 6.773411876899064
• License:
• Abstract: Learned sparse retrieval, which can efficiently perform retrieval through mature inverted-index engines, has garnered growing attention in recent years. Particularly, the inference-free sparse retrievers are attractive as they eliminate online model inference in the retrieval phase thereby avoids huge computational cost, offering reasonable throughput and latency. However, even the state-of-the-art (SOTA) inference-free sparse models lag far behind in terms of search relevance when compared to both sparse and dense siamese models. Towards competitive search relevance for inference-free sparse retrievers, we argue that they deserve dedicated training methods other than using same ones with siamese encoders. In this paper, we propose two different approaches for performance improvement. First, we introduce the IDF-aware FLOPS loss, which introduces Inverted Document Frequency (IDF) to the sparsification of representations. We find that it mitigates the negative impact of the FLOPS regularization on search relevance, allowing the model to achieve a better balance between accuracy and efficiency. Moreover, we propose a heterogeneous ensemble knowledge distillation framework that combines siamese dense and sparse retrievers to generate supervisory signals during the pre-training phase. The ensemble framework of dense and sparse retriever capitalizes on their strengths respectively, providing a strong upper bound for knowledge distillation. To concur the diverse feedback from heterogeneous supervisors, we normalize and then aggregate the outputs of the teacher models to eliminate score scale differences. On the BEIR benchmark, our model outperforms existing SOTA inference-free sparse model by \textbf{3.3 NDCG@10 score}. It exhibits search relevance comparable to siamese sparse retrievers and client-side latency only \textbf{1.1x that of BM25}.
• Abstract（参考訳）: 近年, 成熟した逆インデックスエンジンによる検索を効率的に行うことのできる学習スパース検索が注目されている。 特に,検索フェーズにおけるオンラインモデル推論を排除し,高い計算コストを回避し,適切なスループットとレイテンシを提供するため,推論不要のスパースレトリバーは魅力的である。 しかし、最先端(SOTA)推論のないスパースモデルでさえ、スパースモデルと密シアムモデルの両方と比較して検索の関連性においてはるかに遅れている。 推論不要なスパースレトリバーの競争的検索関連性向上に向けて,シアムエンコーダと同一の手法を併用する以外に,専用の訓練方法が必要であると論じる。 本稿では,性能改善のための2つのアプローチを提案する。 まず、IDF(Inverted Document Frequency)を表現のスペーシングに導入するIDF対応FLOPS損失について紹介する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。 さらに,シロイヌナズナと疎水性レトリバーを組み合わせて,事前学習期間中に監視信号を生成する異種アンサンブル知識蒸留フレームワークを提案する。 密集したレトリバーと疎開なレトリバーのアンサンブルの枠組みは、それぞれ強みを生かし、知識の蒸留に強い上限を与える。 異種スーパーバイザーからの多様なフィードバックを解析するために,教師モデルの出力を正規化し,集計し,スコアスケールの違いを解消する。 BEIRベンチマークでは,既存のSOTA推論フリースパースモデルよりも,textbf{3.3 NDCG@10スコアの方が優れている。 検索の関連性は siamese sparse retriever に匹敵するが、クライアント側のレイテンシは BM25} の textbf{1.1x のみである。

関連論文リスト

• FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG [22.4664221738095]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 本稿では,RAGの粒度が粗いプログレッシブ検索パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T08:47:21Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
  密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。 本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。 コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T00:53:06Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)
• Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval [20.62375162628628]
  本稿では, コーパスの近似ニアネストニアバー(ANN)指数から負を構成する学習機構である, 近似近傍の負相対性推定(ANCE)を提案する。 実験では,BERT-Siamese DRモデルを改良し,厳密でスパースな検索ベースラインを上回ります。 これは、ANCE学習表現空間におけるドット生成を用いたスパース検索とBERTの精度とほぼ一致し、約100倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-07-01T23:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。