論文の概要: Reproducing and Comparing Distillation Techniques for Cross-Encoders
- arxiv url: http://arxiv.org/abs/2603.03010v1
- Date: Tue, 03 Mar 2026 14:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.828211
- Title: Reproducing and Comparing Distillation Techniques for Cross-Encoders
- Title（参考訳）: クロスエンコーダの再生・比較技術
- Authors: Victor Morand, Mathias Vast, Basile Van Cooten, Laure Soulier, Josiane Mothe, Benjamin Piwowarski,
- Abstract要約: 我々は, ciptschlattRankDistiLLMClosingEffectiveness2025 LLMベースの蒸留戦略を再現し, citethofstatterImprovingEfficientNeural 2020アプローチと比較した。
ドメイン内モデル(TREC-DL, MSMARCO dev)とドメイン外データセット(BEIR, LoTTE, Robust04)の両方ですべてのモデルを評価する。
- 参考スコア（独自算出の注目度）: 12.107932271370563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in Information Retrieval have established transformer-based cross-encoders as a keystone in IR. Recent studies have focused on knowledge distillation and showed that, with the right strategy, traditional cross-encoders could reach the level of effectiveness of LLM re-rankers. Yet, comparisons with previous training strategies, including distillation from strong cross-encoder teachers, remain unclear. In addition, few studies cover a similar range of backbone encoders, while substantial improvements have been made in this area since BERT. This lack of comprehensive studies in controlled environments makes it difficult to identify robust design choices. In this work, we reproduce \citet{schlattRankDistiLLMClosingEffectiveness2025} LLM-based distillation strategy and compare it to \citet{hofstatterImprovingEfficientNeural2020} approach based on an ensemble of cross-encoder teachers, as well as other supervised objectives, to fine-tune a large range of cross-encoders, from the original BERT and its follow-ups RoBERTa, ELECTRA and DeBERTa-v3, to the more recent ModernBERT. We evaluate all models on both in-domain (TREC-DL and MS~MARCO dev) and out-of-domain datasets (BEIR, LoTTE, and Robust04). Our results show that objectives emphasizing relative comparisons -- pairwise MarginMSE and listwise InfoNCE -- consistently outperform pointwise baselines across all backbones and evaluation settings, and that objective choice can yield gains comparable to scaling the backbone architecture.
- Abstract（参考訳）: 近年のInformation Retrievalは、IRのキーストーンとしてトランスフォーマーベースのクロスエンコーダを確立している。
近年の研究では、知識蒸留に重点を置いており、正しい戦略により、従来のクロスエンコーダはLLMリランカの有効性のレベルに達することが示されている。
しかし, クロスエンコーダの強い教師の蒸留など, 従来の研修方法との比較はいまだに不明である。
さらに、同様のバックボーンエンコーダに関する研究はほとんどないが、BERT以降、この領域でかなりの改良がなされている。
制御された環境における包括的な研究の欠如は、堅牢な設計選択を特定するのを困難にしている。
本研究では,従来のBERTやその後継であるRoBERTa,ELECTRA,DeBERTa-v3など,多種多様なクロスエンコーダを微調整するために,クロスエンコーダ教師のアンサンブルに基づく<citet{schlattRankDistiLLMClosingEffectiveness2025} LLMベースの蒸留戦略を再現し,それと比較する。
ドメイン内モデル(TREC-DL, MS~MARCO dev)とドメイン外データセット(BEIR, LoTTE, Robust04)について検討した。
その結果、相対比較(ペアワイズMarginMSEとリストワイズInfoNCE)を重視した目的は、すべてのバックボーンと評価設定で一貫してポイントワイズベースラインを上回り、目的選択はバックボーンアーキテクチャのスケーリングに匹敵する利得が得られることを示した。
関連論文リスト
- Consistency-Regularized GAN for Few-Shot SAR Target Recognition [40.2533418376231]
合成開口レーダ(SAR)画像におけるわずかなショット認識は、極端なデータ不足のため、現実世界のアプリケーションにとって重要なボトルネックとなっている。
有望な戦略としては、GAN(Generative Adversarial Network)を備えた大規模なデータセット、自己教師付き学習(SSL)によるモデルの事前トレーニング、ラベル付きサンプルの微調整などがある。
このアプローチは基本的なパラドックスに直面する: 従来のGAN自身は、安定したトレーニングのために豊富なデータを必要とし、少数ショット学習の前提に反する。
多様な高次合成を目的とした新しいフレームワークCr-GANを提案する。
論文 参考訳（メタデータ） (2026-01-22T06:02:39Z) - A Comparison Between Decision Transformers and Traditional Offline Reinforcement Learning Algorithms [0.0]
本稿では,従来のオフラインRLアルゴリズムに対するDTの性能を,密度・疎度な報酬設定で評価する。
その結果,DTは報酬密度の変動に対して他の方法に比べて感度が低いことがわかった。
IQLのような従来のバリューベースのメソッドでは、高品質なデータによる高密度な報酬設定のパフォーマンスが向上し、CQLでは、さまざまなデータ品質のバランスの取れたパフォーマンスが提供されていた。
論文 参考訳（メタデータ） (2025-11-20T15:44:11Z) - Cross-pyramid consistency regularization for semi-supervised medical image segmentation [0.4349640169711269]
半教師付き学習(SSL)は、限られた注意深くラベル付けされたデータを想定した強力なモデルのトレーニングを可能にする。
半教師付き医用画像セグメンテーションのためのラベルのないデータを活用するためのハイブリッド整合学習手法を提案する。
論文 参考訳（メタデータ） (2025-11-11T16:38:31Z) - Sticker-TTS: Learn to Utilize Historical Experience with a Sticker-driven Test-Time Scaling Framework [97.11629413081651]
大規模推論モデルのための新しいテスト時間スケーリングフレームワークである Sticker-TTS を提案する。
フレームワークの中核は、重要な情報の抽出、精錬、再利用を促進するキー条件付きステッカーである。
Sticker-TTSは、自己整合性や高度な強化学習アプローチを含む、強いベースラインを一貫して超越していることを示す。
論文 参考訳（メタデータ） (2025-09-05T11:14:11Z) - VERIRL: Boosting the LLM-based Verilog Code Generation via Reinforcement Learning [32.974199255760944]
本稿では,Verilogコード生成に適した強化学習フレームワークを提案する。
スパース信号と雑音信号に対処するために,トレースバックに基づくRescore機構を提案する。
RL微調整中の破滅的忘れと過適合を軽減するため,サンプルバランスの重み付け戦略を導入する。
論文 参考訳（メタデータ） (2025-08-25T20:20:44Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。
この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。
また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2021-10-12T17:58:59Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳（メタデータ） (2020-08-27T13:04:27Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。