論文の概要: Can Cross Encoders Produce Useful Sentence Embeddings?

• arxiv url: http://arxiv.org/abs/2502.03552v1
• Date: Wed, 05 Feb 2025 19:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:21.791914
• Title: Can Cross Encoders Produce Useful Sentence Embeddings?
• Title（参考訳）: クロスエンコーダは有用な文の埋め込みを生成できるか?
• Authors: Haritha Ananthakrishnan, Julian Dolby, Harsha Kokel, Horst Samulowitz, Kavitha Srinivas,
• Abstract要約: クロスエンコーダ(CE)は、関連性を検出するために文ペアで訓練される。 代わりに、デュアルエンコーダ (DE) が文を埋め込むために使われる。 我々はCEを用いてより軽量なDEを蒸留する方法を示し、推論時間では5.15倍のスピードアップを示す。
• 参考スコア（独自算出の注目度）: 13.923047161426947
• License:
• Abstract: Cross encoders (CEs) are trained with sentence pairs to detect relatedness. As CEs require sentence pairs at inference, the prevailing view is that they can only be used as re-rankers in information retrieval pipelines. Dual encoders (DEs) are instead used to embed sentences, where sentence pairs are encoded by two separate encoders with shared weights at training, and a loss function that ensures the pair's embeddings lie close in vector space if the sentences are related. DEs however, require much larger datasets to train, and are less accurate than CEs. We report a curious finding that embeddings from earlier layers of CEs can in fact be used within an information retrieval pipeline. We show how to exploit CEs to distill a lighter-weight DE, with a 5.15x speedup in inference time.
• Abstract（参考訳）: クロスエンコーダ(CE)は、関連性を検出するために文ペアで訓練される。 CEは推論時に文対を必要とするため、最も一般的な見解は、情報検索パイプラインにおいてリランカとしてのみ使用できるということである。 二重エンコーダ(DE)は代わりに文を埋め込むために使用され、文ペアは訓練中に共有重みを持つ2つの独立したエンコーダによって符号化される。 しかし、DESはトレーニングするためにはるかに大きなデータセットを必要とし、CEよりも正確ではない。 我々は、CEの以前のレイヤからの埋め込みが、情報検索パイプライン内で実際に使用できるという興味深い発見を報告します。 我々はCEを用いてより軽量なDEを蒸留する方法を示し、推論時間では5.15倍のスピードアップを示す。

関連論文リスト

• How to Make Cross Encoder a Good Teacher for Efficient Image-Text Retrieval? [99.87554379608224]
  クロスエンコーダのクロスモーダル類似度スコア分布は、二重エンコーダの結果がほぼ正常である間により集中する。 強陰性間の相対的な順序だけが有効な知識を伝達する一方、容易な負性間の順序情報はほとんど意味を持たない。 本研究では, コントラスト学習を用いて, 硬質負試料間の相対的な順序を模倣することを目的とした, コントラスト部分式蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:10:01Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• On the Robustness of Counterfactual Explanations to Adverse Perturbations [0.0]
  我々は、不運な状況によって自然に起こりうる、有害な摂動に対する堅牢性について検討する。 私たちは堅牢性の定義を2つ提供します。 我々の実験では、CEは多くの場合、堅牢ではないことが示され、もし悪質な摂動が起これば、彼らが要求する介入は予想よりもはるかにコストがかかる可能性がある。
  論文  参考訳（メタデータ） (2022-01-22T13:57:45Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• ConvFiT: Conversational Fine-Tuning of Pretrained Language Models [42.7160113690317]
  大規模なテキストコレクションに事前訓練されたトランスフォーマーベース言語モデル(LM)は、豊富なセマンティック知識を保存できることが証明されている。 本稿では,任意の事前学習したLMをユニバーサルな会話エンコーダに変換する,シンプルで効率的な2段階の手順であるConvFiTを提案する。
  論文  参考訳（メタデータ） (2021-09-21T12:16:56Z)
• Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder [64.55176104620848]
  NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。 後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。 4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-10-25T06:35:30Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。