論文の概要: Rescaling MLM-Head for Neural Sparse Retrieval

• arxiv url: http://arxiv.org/abs/2606.18811v1
• Date: Wed, 17 Jun 2026 08:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.06729
• Title: Rescaling MLM-Head for Neural Sparse Retrieval
• Title（参考訳）: ニューラルスパース検索のためのMLMヘッドの再スケーリング
• Authors: Youngjoon Jang, Seongtae Hong, Jonah Turner, Heuiseok Lim,
• Abstract要約: 本稿では,SPLADE トレーニングの前に,頭部投影を一定因子で再スケールする簡単な補正手法を提案する。 この修正により、ModernBERTやEttinのような大きなノームバックボーンが大幅に改善され、不安定なトレーニングが競合するスパースレトリバーへと変化する。
• 参考スコア（独自算出の注目度）: 20.217034996511895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned sparse retrieval (LSR) models such as SPLADE have traditionally used BERT-style masked language models as backbone encoders. A natural expectation is that replacing BERT with stronger pretrained encoders should improve retrieval effectiveness. However, we find that under standard SPLADE training recipes, backbones with large MLM-head L2 norms can suffer performance degradation and even training collapse under standard SPLADE training recipes. We identify this failure as a scale mismatch in the MLM head: SPLADE directly uses MLM-head outputs to construct sparse lexical representations, and query-document relevance is computed by an unnormalized dot product over these representations. As a result, an inflated MLM-head scale can amplify sparse activations, distort matching scores, and destabilize contrastive training under common training settings. To address this issue, we introduce a simple initialization-time correction that rescales the MLM-head projection by a constant factor before SPLADE training. This zero-cost adjustment improves training stability without modifying the model architecture or training objective. Across both in-domain and out-of-domain retrieval benchmarks, this simple correction substantially improves large-norm backbones such as ModernBERT and Ettin, turning unstable training runs into competitive sparse retrievers. In several settings, the corrected models further match or surpass the classic BERT-SPLADE baseline. These findings suggest that the bottleneck in adapting pretrained encoders to LSR is not encoder capacity alone, but the calibration of the MLM-head scale used to construct sparse lexical representations.
• Abstract（参考訳）: SPLADEのような学習スパース検索(LSR)モデルは、伝統的にBERTスタイルのマスキング言語モデルをバックボーンエンコーダとして使用してきた。 BERTをより強力な事前訓練エンコーダに置き換えることで、検索効率が向上することが自然な期待である。 しかし,従来のSPLADEトレーニングレシピでは,MLMヘッドのL2ノルムが大きいバックボーンは性能低下や,標準SPLADEトレーニングレシピの下でのトレーニング崩壊に悩まされることが判明した。 この故障をMLMヘッドのスケールミスマッチとして認識する: SPLADE は MLM ヘッド出力を直接使用して疎語彙表現を構築し、クエリ文書の関連性はこれらの表現上の非正規化ドット積によって計算される。 その結果、膨らませられたMLMヘッドスケールは、スパースアクティベーションを増幅し、一致するスコアを歪め、共通のトレーニング設定下でのコントラストトレーニングを不安定化することができる。 この問題に対処するために,SPLADE トレーニングの前に MLM ヘッド投影を定数係数で再スケールする簡単な初期化時間補正を導入する。 このゼロコスト調整は、モデルアーキテクチャやトレーニング目標を変更することなく、トレーニング安定性を向上させる。 ドメイン内およびドメイン外検索ベンチマークの両方で、この単純な修正により、ModernBERTやEttinのような大きなノームバックボーンが大幅に改善され、不安定なトレーニングが競合するスパースレトリバーに変換される。 いくつかの設定では、修正されたモデルはさらに古典的なBERT-SPLADEベースラインにマッチする。 これらの結果から,事前学習したエンコーダをLSRに適応させる際のボトルネックはエンコーダの容量だけではなく,スパース語彙表現の構築に使用するMLMヘッドスケールのキャリブレーションであることが示唆された。

関連論文リスト

• Post-training is (Massive) Supervised Learning [35.992105178197185]
  LLMの訓練の主流となるパラダイムは、SFTとRLからなる大規模な訓練後フェーズに依存するように進化してきた。 我々は,この手法が,BERT時代のプレトレインおよびファインチューンアプローチへの回帰を効果的に示していると論じる。
  論文  参考訳（メタデータ） (2026-04-20T08:52:09Z)
• DAJ: Data-Reweighted LLM Judge for Test-Time Scaling in Code Generation [30.131052926559956]
  DAJは,2段階のデータ重み付け学習フレームワークを用いて報酬を訓練した推論に基づくLLM判定器である。 提案手法は,手作り検証に頼らずに,困難問題,分布内サンプル,軌跡整列データを自動的に強調する。
  論文  参考訳（メタデータ） (2026-01-29T19:04:24Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Should We Still Pretrain Encoders with Masked Language Modeling? [27.19054714197245]
  最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計38モデルをトレーニングし、15,000以上の微調整と評価を実行します。 高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-01T17:45:48Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Pruning Foundation Models for High Accuracy without Retraining [48.256389781305415]
  基礎モデルや大規模言語モデル(LLM)の展開は、膨大なパラメータと計算量のために困難である。 ワンショットでLLMを再訓練せずにプルーンする訓練後プルーニング法が提案されている。 本実験は,SOTAベースラインと比較して提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-21T01:23:34Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。