論文の概要: Large Dual Encoders Are Generalizable Retrievers

• arxiv url: http://arxiv.org/abs/2112.07899v1
• Date: Wed, 15 Dec 2021 05:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 15:09:42.290678
• Title: Large Dual Encoders Are Generalizable Retrievers
• Title（参考訳）: 大きなデュアルエンコーダは一般的なリトリバー
• Authors: Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern\'andez \'Abrego, Ji Ma, Vincent Y. Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, Yinfei Yang
• Abstract要約: モデルサイズをスケールアップすることで,様々な検索タスクにおいて大幅な改善がもたらされることを示す。 textbf Generalizable textbfT5-based dense textbfRetrievers (GTR), outform %ColBERTcitekhattab2020colbert and existing sparse and dense retriever。
• 参考スコア（独自算出の注目度）: 26.42937314291077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been shown that dual encoders trained on one domain often fail to generalize to other domains for retrieval tasks. One widespread belief is that the bottleneck layer of a dual encoder, where the final score is simply a dot-product between a query vector and a passage vector, is too limited to make dual encoders an effective retrieval model for out-of-domain generalization. In this paper, we challenge this belief by scaling up the size of the dual encoder model {\em while keeping the bottleneck embedding size fixed.} With multi-stage training, surprisingly, scaling up the model size brings significant improvement on a variety of retrieval tasks, especially for out-of-domain generalization. Experimental results show that our dual encoders, \textbf{G}eneralizable \textbf{T}5-based dense \textbf{R}etrievers (GTR), outperform %ColBERT~\cite{khattab2020colbert} and existing sparse and dense retrievers on the BEIR dataset~\cite{thakur2021beir} significantly. Most surprisingly, our ablation study finds that GTR is very data efficient, as it only needs 10\% of MS Marco supervised data to achieve the best out-of-domain performance. All the GTR models are released at https://tfhub.dev/google/collections/gtr/1.
• Abstract（参考訳）: あるドメインで訓練されたデュアルエンコーダは、検索タスクのために他のドメインに一般化できないことが示されている。 1つの広く信じられているのは、二重エンコーダのボトルネック層であり、最終スコアはクエリベクトルと通過ベクトルの間のドット積であり、二重エンコーダをドメイン外一般化のための効果的な検索モデルにするには限界すぎるということである。 本稿では、ボトルネック埋め込みサイズを固定しつつ、二重エンコーダモデル {\em のサイズを拡大することで、この信念に挑戦する。 マルチステージトレーニングでは,モデルサイズのスケールアップがさまざまな検索タスク,特にドメイン外一般化において大きな改善をもたらします。 実験結果から, 2つのエンコーダ, \textbf{G}eneralizable \textbf{T}5-based dense \textbf{R}etrievers (GTR), outform %ColBERT~\cite{khattab2020colbert}, and existing sparse and dense retriever on the BEIR dataset~\cite{thakur2021beir} が顕著であった。 最も驚くべきことに、我々のアブレーション調査では、GTRは非常にデータ効率が良く、ドメイン外で最高のパフォーマンスを達成するためには、MS Marcoが管理するデータの10%しか必要としない。 すべてのGTRモデルはhttps://tfhub.dev/google/collections/gtr/1でリリースされる。

関連論文リスト

• You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
  大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• In Defense of Cross-Encoders for Zero-Shot Retrieval [4.712097135437801]
  バイエンコーダとクロスエンコーダは、多くの最先端のパイプラインで広く使われている。 クロスエンコーダのパラメータ数と初期クエリ文書間相互作用は,検索モデルの一般化能力において重要な役割を担っている。
  論文  参考訳（メタデータ） (2022-12-12T18:50:03Z)
• Salient Object Detection via Dynamic Scale Routing [62.26677215668959]
  本稿では,「動的」なスケールルーティング(新しいアイデアとして)について紹介する。 結果として、既存の機能のバックボーンに直接適合するジェネリックなプラグインが生まれます。 DPConvベースのエンコーダを最適に適合させるために,自己適応型双方向デコーダの設計を提案する。
  論文  参考訳（メタデータ） (2022-10-25T08:01:27Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering [85.08146789409354]
  我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。 TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。 実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
  論文  参考訳（メタデータ） (2022-10-11T05:33:25Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• On Pursuit of Designing Multi-modal Transformer for Video Grounding [35.25323276744999]
  ビデオグラウンディングは、未編集のビデオから文クエリに対応する時間セグメントをローカライズすることを目的としている。 本稿では,bfGTRと呼ばれる新しいエンド・ツー・エンドのマルチモーダルトランスフォーマーモデルを提案する。具体的には,GTRはビデオ符号化と言語符号化のための2つのエンコーダと,グラウンドディング予測のためのクロスモーダルデコーダを備える。 3つの典型的なGTR変種は、すべてのデータセットとメトリクスで記録破りのパフォーマンスを達成し、推論速度は数倍高速である。
  論文  参考訳（メタデータ） (2021-09-13T16:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。