論文の概要: Scaling Laws For Data-Constrained Dense Retrieval
- arxiv url: http://arxiv.org/abs/2611.04979v1
- Date: Tue, 03 Nov 2026 14:33:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 15:13:47.049429
- Title: Scaling Laws For Data-Constrained Dense Retrieval
- Title(参考訳): データ制約付きDense Retrievalのスケーリング法則
- Abstract要約: 本研究では,モデルサイズと一意な微調整データを用いて,最適な検索性能がどう変化するかを検討する。
まず,学習速度の選択が最適化トラジェクトリに強く影響するが,最終的な達成可能なMAELにはほとんど影響しないことを示す。
次に、MS MARCOサブセット上の35 BERT系高密度検索器を微調整し、MAELが単純な乗法則によって正確に記述されていることを確かめる。
- 参考スコア(独自算出の注目度): 6.903853856191411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense retrieval models are typically obtained by fine-tuning pretrained language models on supervised retrieval data, where high-quality annotations or interaction logs are often limited and reused across many epochs. This data-constrained regime differs from the abundant-data setting assumed by standard scaling laws, making it unclear how the best attainable retrieval performance changes with model size and unique fine-tuning data. We study this question through the minimum achievable evaluation loss (MAEL), defined as the lowest evaluation loss reached during training under fixed model-size and data-budget constraints. We first show that learning-rate choices strongly affect optimization trajectories but have little effect on the final attainable MAEL: after rescaling the optimization-step axis, learning curves collapse across learning rates, and CKA analysis shows that checkpoints reaching MAEL learn highly similar representations. We then fine-tune 35 BERT-family dense retrievers on MS MARCO subsets and find that MAEL is accurately described by a simple multiplicative power law over non-embedding parameters and unique samples, outperforming commonly used additive scaling formulations. We further derive a scaling law for the training step at which MAEL is reached and show that optimal weight decay follows an approximately invariant EMA timescale, yielding lower MAEL and stronger retrieval performance on both in-domain and out-of-domain benchmarks. Finally, combining loss and step scaling suggests that, in our observed regime, increasing pretrained model size is approximately 1.46 times as fine-tuning-compute-efficient as increasing unique in-domain data for reducing MAEL.
- Abstract(参考訳): デンス検索モデルは典型的には、教師付き検索データに基づいて訓練済みの言語モデルを微調整することによって得られる。
このデータ制約は、標準スケーリング法則によって想定される豊富なデータ設定とは異なるため、モデルサイズとユニークな微調整データによって、最高の検索性能がどう変化するかは明らかでない。
固定モデルサイズおよびデータ予算制約下でのトレーニング中に到達した最小評価損失として定義される最小達成可能評価損失(MAEL)を用いて,本問題を考察する。
まず,学習速度の選択が最適化軌道に強く影響するが,最終的な達成可能なMAELにはほとんど影響を与えないことを示し,最適化ステップ軸を再スケールした後,学習曲線が学習速度にわたって崩壊し,CKA解析により,MAELに到達するチェックポイントが極めて類似した表現を学習することを示した。
次に、MS MARCO サブセット上の35 BERT 系高密度検索器を微調整し、MAEL が非埋め込みパラメータと一意な標本に対する単純な乗法則により正確に記述され、一般的に用いられる加法スケーリングの定式化よりも優れることを示した。
さらに、MAELが到達したトレーニングステップのスケーリング法則を導出し、最適なウェイト崩壊は、ほぼ不変なEMAタイムスケールに従っており、より低いMAELとドメイン内およびドメイン外ベンチマークでの検索性能が向上することを示す。
最後に、損失とステップのスケーリングを組み合わせることで、我々の観測体制では、事前訓練されたモデルサイズの増加は、MAELを減少させるための独自のドメイン内データの増加の約1.46倍の微調整・計算効率であることが示唆された。
関連論文リスト
- InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition [18.346630567592733]
LLMプリトレーニングにおける高品質なデータのアップウェイト化は、しばしば性能を改善するが、特に過度のトレーニング下では、より強力なアップウェイト化は繰り返しを増大させ、性能を低下させる可能性がある。
我々はInfoLawを紹介した。これは、消費トークン、モデルサイズ、データ混合重量、繰り返しからの損失を予測する、データ対応のスケーリングフレームワークである。
論文 参考訳(メタデータ) (2026-05-04T09:07:54Z) - Prescriptive Scaling Laws for Data Constrained Training [21.261009598515066]
トレーニング計算は、高品質なデータの可用性をますます上回っている。
チンチラスケーリング法は、すべてのトレーニングトークンがユニークであると仮定する。
我々のスケーリング法則は、定性的に新しい計算-最適割り当てアドバイスをもたらす。
論文 参考訳(メタデータ) (2026-05-02T23:14:20Z) - Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。
In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。
モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
論文 参考訳(メタデータ) (2025-10-16T09:00:39Z) - Few-Shot Load Forecasting Under Data Scarcity in Smart Grids: A Meta-Learning Approach [0.18641315013048293]
本稿では,短期負荷予測のためのモデルに依存しないメタ学習アルゴリズムを提案する。
提案手法は,任意の長さの未知の負荷時間列に迅速に適応し,一般化することができる。
提案手法は,実世界の消費者の歴史的負荷消費データのデータセットを用いて評価する。
論文 参考訳(メタデータ) (2024-06-09T18:59:08Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳(メタデータ) (2023-07-26T08:25:46Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。