論文の概要: In Defense of Cross-Encoders for Zero-Shot Retrieval

• arxiv url: http://arxiv.org/abs/2212.06121v1
• Date: Mon, 12 Dec 2022 18:50:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 17:14:37.534239
• Title: In Defense of Cross-Encoders for Zero-Shot Retrieval
• Title（参考訳）: ゼロショット検索のためのクロスエンコーダの防御
• Authors: Guilherme Rosa and Luiz Bonifacio and Vitor Jeronymo and Hugo Abonizio and Marzieh Fadaee and Roberto Lotufo and Rodrigo Nogueira
• Abstract要約: バイエンコーダとクロスエンコーダは、多くの最先端のパイプラインで広く使われている。 クロスエンコーダのパラメータ数と初期クエリ文書間相互作用は,検索モデルの一般化能力において重要な役割を担っている。
• 参考スコア（独自算出の注目度）: 4.712097135437801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git
• Abstract（参考訳）: バイエンコーダとクロスエンコーダは多くの最先端の検索パイプラインで広く使われている。 本研究では,これら2つのアーキテクチャの一般化能力を,ドメイン内シナリオとドメイン外シナリオの両方において,幅広いパラメータ数で検討する。 クロスエンコーダのパラメータ数と初期クエリ文書間相互作用は,検索モデルの一般化能力において重要な役割を果たす。 実験の結果, モデルサイズの増加はドメイン内テストセットの限界ゲインをもたらすが, ファインチューニング中に見つからなかった新しいドメインでは, はるかに大きなゲインが得られることがわかった。 さらに、クロスエンコーダは、複数のタスクにおいて、ほぼ同様のサイズのbiエンコーダよりも優れていることを示す。 BEIRベンチマークでは、我々の最大のクロスエンコーダは最先端のバイエンコーダを4つ以上の平均点で上回っている。 最後に,bi-encoderを第1ステージレトリバーとして使用すると,ドメイン外のタスクにおいてbm25のような単純なレトリバーに比べ,何も得られないことを示す。 コードはhttps://github.com/guilhermemr04/scaling-zero-shot-retrieval.gitで入手できる。

関連論文リスト

• You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
  大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering [85.08146789409354]
  我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。 TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。 実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
  論文  参考訳（メタデータ） (2022-10-11T05:33:25Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval [117.15862403330121]
  共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。 具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
  論文  参考訳（メタデータ） (2022-03-10T16:41:12Z)
• Large Dual Encoders Are Generalizable Retrievers [26.42937314291077]
  モデルサイズをスケールアップすることで,様々な検索タスクにおいて大幅な改善がもたらされることを示す。 textbf Generalizable textbfT5-based dense textbfRetrievers (GTR), outform %ColBERTcitekhattab2020colbert and existing sparse and dense retriever。
  論文  参考訳（メタデータ） (2021-12-15T05:33:27Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)
• Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks [59.13635174016506]
  本稿では,Augmented SBERTと呼ばれる単純なデータ拡張戦略を提案する。 クロスエンコーダを用いて、より大きな入力ペアのセットをラベル付けし、バイエンコーダのトレーニングデータを増強する。 このプロセスでは,文ペアの選択は非自明であり,提案手法の成功には不可欠であることを示す。
  論文  参考訳（メタデータ） (2020-10-16T08:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。