論文の概要: When Fine-Tuning Fails: Lessons from MS MARCO Passage Ranking

• arxiv url: http://arxiv.org/abs/2506.18535v1
• Date: Mon, 23 Jun 2025 11:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.96085
• Title: When Fine-Tuning Fails: Lessons from MS MARCO Passage Ranking
• Title（参考訳）: ファインチューニングの失敗:MS MARCOのパスランキングから学んだこと
• Authors: Manu Pande, Shahil Kumar, Anay Yatin Damle,
• Abstract要約: 微調整事前学習型トランスフォーマーモデルでは,MS MARCOパスランキングタスクの性能が低下することを示す。 解析により, 基礎モデルの広範囲な事前学習において得られた最適埋め込み空間構造が, 微調整によって破壊されることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the counterintuitive phenomenon where fine-tuning pre-trained transformer models degrades performance on the MS MARCO passage ranking task. Through comprehensive experiments involving five model variants-including full parameter fine-tuning and parameter efficient LoRA adaptations-we demonstrate that all fine-tuning approaches underperform the base sentence-transformers/all- MiniLM-L6-v2 model (MRR@10: 0.3026). Our analysis reveals that fine-tuning disrupts the optimal embedding space structure learned during the base model's extensive pre-training on 1 billion sentence pairs, including 9.1 million MS MARCO samples. UMAP visualizations show progressive embedding space flattening, while training dynamics analysis and computational efficiency metrics further support our findings. These results challenge conventional wisdom about transfer learning effectiveness on saturated benchmarks and suggest architectural innovations may be necessary for meaningful improvements.
• Abstract（参考訳）: 本稿では,MS MARCOパスランキングタスクにおいて,微調整事前学習型トランスフォーマーモデルが性能を劣化させる反直観的現象について検討する。 5種類のモデル変異体(フルパラメータ細調整とパラメータ効率のよいLoRA適応を含む)を包括的に実験することにより、全ての微調整手法が基本文変換器/オールミニLM-L6-v2モデル(MRR@10: 0.3026)を過小評価することを示した。 我々の分析では、9100万のMS MARCOサンプルを含む10億の文対に対して、ベースモデルの広範囲な事前学習中に得られた最適な埋め込み空間構造が、微調整によって破壊されることが判明した。 UMAPビジュアライゼーションはプログレッシブな埋め込み空間平ら化を示し、トレーニング力学解析と計算効率測定は我々の発見をさらに支援している。 これらの結果は、飽和ベンチマーク上での伝達学習の有効性に関する従来の知恵に挑戦し、有意義な改善のためにはアーキテクチャの革新が必要であることを示唆している。

関連論文リスト

• LIFT+: Lightweight Fine-Tuning for Long-Tail Learning [45.187004699024435]
  LIFT+は一貫性のあるクラス条件を最適化する革新的な軽量な微調整フレームワークである。 我々のフレームワークは、高速収束とモデルコンパクト化を容易にする効率的で正確なパイプラインを提供する。
  論文  参考訳（メタデータ） (2025-04-17T18:50:47Z)
• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [16.10753846850319]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models [0.9217021281095907]
  プレトレーニング言語モデル(PLM)の伝達学習過程において発生する攻撃的微調整の問題に対処する。 従来の機械学習における適応的強化法に着想を得て,PLMの微調整を改善するための効果的な動的補正自己蒸留手法を提案する。 本手法は,各イテレーションにおいて,各データポイントに割り当てられた重みを動的に調整することにより,学生モデルが積極的に適応し,自己補正を行う自己蒸留機構を実行することを含む。
  論文  参考訳（メタデータ） (2023-12-12T07:26:36Z)
• Model-Generated Pretraining Signals Improves Zero-Shot Generalization of Text-to-Text Transformers [98.30298332661323]
  本稿では,T5などのテキスト変換器のゼロショット一般化におけるモデル生成信号の有効性について検討する。 我々は新しいモデルMETRO-T0を開発し、ELECTRA-Style事前学習戦略を用いて事前訓練を行い、次にNLPタスクの混合を即時微調整する。 その結果,METRO-T0の有効性は,パラメータのよりバランスの取れた寄与と,それらの能力の有効利用に起因していることが判明した。
  論文  参考訳（メタデータ） (2023-05-21T21:06:23Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。