論文の概要: Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers

• arxiv url: http://arxiv.org/abs/2503.22672v1
• Date: Fri, 28 Mar 2025 17:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:51.594990
• Title: Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
• Title（参考訳）: クロスエンコーダリランカにおける多段ファインチューニングの有効性の検討
• Authors: Francesca Pezzuti, Sean MacAvaney, Nicola Tonellotto,
• Abstract要約: 最先端のクロスエンコーダは、パスの再ランク付けに非常に効果的であるように微調整することができる。 微調整の別のアプローチは、非常に効果的な大規模言語モデルのランキングを模倣するようにモデルに教えることである。 コントラスト学習を用いて微調整されたポイントワイドクロスエンコーダの有効性は、多段階アプローチで微調整されたモデルと実際に同等であることを示す。
• 参考スコア（独自算出の注目度）: 23.013617933109526
• License:
• Abstract: State-of-the-art cross-encoders can be fine-tuned to be highly effective in passage re-ranking. The typical fine-tuning process of cross-encoders as re-rankers requires large amounts of manually labelled data, a contrastive learning objective, and a set of heuristically sampled negatives. An alternative recent approach for fine-tuning instead involves teaching the model to mimic the rankings of a highly effective large language model using a distillation objective. These fine-tuning strategies can be applied either individually, or in sequence. In this work, we systematically investigate the effectiveness of point-wise cross-encoders when fine-tuned independently in a single stage, or sequentially in two stages. Our experiments show that the effectiveness of point-wise cross-encoders fine-tuned using contrastive learning is indeed on par with that of models fine-tuned with multi-stage approaches. Code is available for reproduction at https://github.com/fpezzuti/multistage-finetuning.
• Abstract（参考訳）: 最先端のクロスエンコーダは、パスの再ランク付けに非常に効果的であるように微調整することができる。 リランカとしてのクロスエンコーダの典型的な微調整プロセスは、大量の手作業によるラベル付きデータ、対照的な学習目標、ヒューリスティックにサンプリングされた負のセットを必要とする。 ファインチューニングの別のアプローチでは、蒸留目標を用いた高効率な大規模言語モデルのランク付けを模倣するようにモデルを指導する。 これらの微調整戦略は個別に、または連続的に適用することができる。 本研究では,単一段階において,あるいは2段階において連続的に微調整を行った場合,ポイントワイド・クロスエンコーダの有効性を系統的に検討する。 実験により, コントラスト学習を用いて微調整したポイントワイド・クロスエンコーダの有効性は, 多段階的アプローチで微調整したモデルと同程度であることが確認された。 コードはhttps://github.com/fpezzuti/multistage-finetuning.comで再生可能である。

関連論文リスト

• Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation [30.912818564963512]
  DETRISは、低ランクな視覚的特徴伝達を強化するために設計されたパラメータ効率のチューニングフレームワークである。 我々の単純で効率的なアプローチは、最先端のメソッドを大きく上回り、0.9%から1.8%のバックボーンパラメーターが更新される。
  論文  参考訳（メタデータ） (2025-01-15T05:00:03Z)
• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking [79.35822270532948]
  大規模言語モデル (LLM) から蒸留したクロスエンコーダは、手動でラベル付けされたデータに微調整されたクロスエンコーダよりも効果的であることが多い。 このギャップを埋めるために、新しいデータセットである Rank-DistiLLM を作成します。 Rank-DistiLLMでトレーニングされたクロスエンコーダは、最大173倍高速で24倍のメモリ効率を実現している。
  論文  参考訳（メタデータ） (2024-05-13T16:51:53Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Multi-Level Contrastive Learning for Few-Shot Problems [7.695214001809138]
  コントラスト学習(Contrastive Learning)は、類似したサンプルを互いに近づき、多様なサンプルを互いに遠ざかることを目的とした差別的なアプローチである。 本稿では,エンコーダの異なる層におけるコントラスト的損失を適用し,複数の表現をエンコーダから学習する多段階対等学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-15T21:00:02Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Self-Supervised Bernoulli Autoencoders for Semi-Supervised Hashing [1.8899300124593648]
  本稿では,変分オートエンコーダに基づくハッシュ手法のロバスト性と,監督の欠如について検討する。 本稿では,モデルがラベル分布予測を用いて一対の目的を実現する新しい監視手法を提案する。 実験の結果,いずれの手法もハッシュコードの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-07-17T07:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。