論文の概要: Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval
- arxiv url: http://arxiv.org/abs/2311.15564v1
- Date: Mon, 27 Nov 2023 06:22:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 17:07:36.144783
- Title: Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval
- Title(参考訳): Boot and Switch: ゼロショット高密度検索のための代替蒸留
- Authors: Fan Jiang, Qiongkai Xu, Tom Drummond, Trevor Cohn
- Abstract要約: $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。
ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
- 参考スコア(独自算出の注目度): 50.47192086219752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural 'dense' retrieval models are state of the art for many datasets,
however these models often exhibit limited domain transfer ability. Existing
approaches to adaptation are unwieldy, such as requiring explicit supervision,
complex model architectures, or massive external models. We present
$\texttt{ABEL}$, a simple but effective unsupervised method to enhance passage
retrieval in zero-shot settings. Our technique follows a straightforward loop:
a dense retriever learns from supervision signals provided by a reranker, and
subsequently, the reranker is updated based on feedback from the improved
retriever. By iterating this loop, the two components mutually enhance one
another's performance. Experimental results demonstrate that our unsupervised
$\texttt{ABEL}$ model outperforms both leading supervised and unsupervised
retrievers on the BEIR benchmark. Meanwhile, it exhibits strong adaptation
abilities to tasks and domains that were unseen during training. By either
fine-tuning $\texttt{ABEL}$ on labelled data or integrating it with existing
supervised dense retrievers, we achieve state-of-the-art
results.\footnote{Source code is available at
\url{https://github.com/Fantabulous-J/BootSwitch}.}
- Abstract(参考訳): ニューラル 'dense' 検索モデルは多くのデータセットの最先端技術であるが、これらのモデルはドメイン転送能力に制限がある。
既存の適応アプローチは、明示的な監督、複雑なモデルアーキテクチャ、大規模な外部モデルなど、扱いにくい。
ゼロショット設定における経路検索を強化するための,単純だが効果的な教師なし手法である$\texttt{ABEL}$を提案する。
本手法は,リランカが提供する監視信号から高密度検索機を学習し,改良された検索機からのフィードバックに基づいてリランカを更新する。
このループを反復することにより、2つのコンポーネントは相互に互いのパフォーマンスを向上する。
実験の結果,制御不能な$\texttt{ABEL}$モデルは,BEIRベンチマークにおいて教師なし検索と教師なし検索のどちらよりも優れていた。
一方、訓練中に目に見えない課題や領域への適応能力が強かった。
ラベル付きデータに$\texttt{ABEL}$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
footnote{source code は \url{https://github.com/fantabulous-j/bootswitch} で入手できる。
}
関連論文リスト
- Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳(メタデータ) (2023-11-27T06:19:50Z) - SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot
Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。
我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。
SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T22:48:02Z) - Unsupervised Dense Retrieval Deserves Better Positive Pairs: Scalable
Augmentation with Query Extraction and Generation [27.391814046104646]
擬似クエリ文書ペアを作成する方法,名前付きクエリ抽出(QExt)と転送クエリ生成(TQGen)の2つのカテゴリについて検討する。
QExt は文書構造によって擬似クエリを抽出し、また、TQGen は他の NLP タスクのために訓練された生成モデルを利用する。
実験により、個々の拡張法で訓練された高密度レトリバーは、複数の強いベースラインと相容れない性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-12-17T10:43:25Z) - LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text
Retrieval [55.097573036580066]
実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。
再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
論文 参考訳(メタデータ) (2022-03-11T18:53:12Z) - You Only Need One Model for Open-domain Question Answering [26.582284346491686]
オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。
本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。
我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
論文 参考訳(メタデータ) (2021-12-14T13:21:11Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳(メタデータ) (2021-10-07T16:41:15Z) - Improving Distantly Supervised Relation Extraction with Self-Ensemble
Noise Filtering [17.45521023572853]
本研究では,学習過程におけるノイズを除去する自己アンサンブルフィルタリング機構を提案する。
複数の最先端関係抽出モデルを用いた実験により,提案したフィルタリング機構はモデルの堅牢性を改善し,F1スコアを増加させることを示す。
論文 参考訳(メタデータ) (2021-08-22T11:23:36Z) - End-to-End Training of Neural Retrievers for Open-Domain Question
Answering [32.747113232867825]
ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。
Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。
また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
論文 参考訳(メタデータ) (2021-01-02T09:05:34Z) - Overcoming Classifier Imbalance for Long-tail Object Detection with
Balanced Group Softmax [88.11979569564427]
本報告では, 長期分布前における最先端モデルの過小評価に関する最初の体系的解析を行う。
本稿では,グループワイドトレーニングを通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランス付きグループソフトマックス(BAGS)モジュールを提案する。
非常に最近の長尾大語彙オブジェクト認識ベンチマークLVISの大規模な実験により,提案したBAGSは検出器の性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2020-06-18T10:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。