論文の概要: Length Generalization Needs Proper Regularization

• arxiv url: http://arxiv.org/abs/2610.04518v1
• Date: Sat, 03 Oct 2026 13:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 19:11:46.962183
• Title: Length Generalization Needs Proper Regularization
• Title（参考訳）: 長さ一般化は適切な正規化を必要とする
• Abstract要約: 長さ一般化の課題は、建築上の選択だけでなく、訓練手順そのものにも関係していることを示す。 正規化が長さの一般化にどのように影響するかを研究し、重量減衰が外挿を妨げていることを発見した。 本稿では, 変動保存アフィン・ドロップアウト(VPAD)を提案する。
• 参考スコア（独自算出の注目度）: 22.93999954470732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Length generalization is the ability of sequential models to perform well on context lengths unseen during training. In this work, we show that the challenge of achieving length generalization is related not only to architectural choices such as positional encoding and the attention mechanism but also to the training procedure itself. We study how regularization affects length generalization and find that weight decay can hinder extrapolation. In contrast, dropout improves extrapolation when its placement within the architecture is reconsidered. In that regard, we show that the standard placement of dropout before layer normalization introduces a systematic distributional mismatch, and that applying dropout just before the linear projection resolves this issue. For example, a modified SmolLM3 with sliding window attention, continually pre-trained with dropout, can extrapolate perfectly to 64$\times$ on Needle-in-a-Haystack and far beyond the pre-training context size on RULER and HELMET. Mamba2 also benefits from dropout, suggesting an architecture-agnostic nature of the problem. We further propose Variance-Preserving Affine Dropout (VPAD), a new dropout strategy that substantially reduces the resulting pre-activation variance mismatch, leading to further extrapolation improvements in transformers.
• Abstract（参考訳）: 長さの一般化は、トレーニング中に目に見えない文脈長でシーケンシャルモデルがうまく機能する能力である。 本研究では,長さ一般化の課題は,位置符号化やアテンション機構などのアーキテクチャ選択だけでなく,トレーニング手順自体にも関係していることを示す。 正規化が長さの一般化にどのように影響するかを研究し、重量減衰が外挿を妨げていることを発見した。 対照的に、ドロップアウトはアーキテクチャ内の配置を再考する際に外挿を改善する。 そこで本研究では, 層正規化前におけるドロップアウトの標準配置は, 系統的な分布ミスマッチを導入し, 線形射影直前にドロップアウトを適用すると, この問題が解決されることを示す。 例えば、スライディングウィンドウアテンションを備えた修正SmolLM3は、ドロップアウトで継続的にトレーニングされ、64$\times$ on Needle-in-a-Haystack、RULERとHELMETの事前トレーニングコンテキストサイズをはるかに超えている。 Mamba2はドロップアウトの恩恵も受けており、アーキテクチャに依存しない問題の性質を示唆している。 さらに, 変動保存アフィン・ドロップアウト (VPAD) を提案する。これは, 結果の事前変動ミスマッチを著しく低減し, 変圧器のさらなる外挿改善をもたらす新しいドロップアウト戦略である。

関連論文リスト

• Grokking through the Lens of Minimum-Norm Interpolation [25.315895839734566]
  我々は、正規化幾何学と信号空間が一般化をどのように支配するかを特徴付ける統計理論を開発する。 特に、高次元回帰の原型的設定に焦点をあて、空間的プロモーティング正規化が近似的適合よりもはるかに正確であるような規則を同定する。 正規化強度の小さな摂動は、小さなトレーニングエラーを保ちながら、大幅に異なる一般化をもたらす可能性がある。
  論文  参考訳（メタデータ） (2026-09-29T19:44:32Z)
• Representation Collapse in Sequential Post-Training of Large Language Models [17.437127662981847]
  逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。 我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
  論文  参考訳（メタデータ） (2026-05-28T19:59:17Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• To Grok Grokking: Provable Grokking in Ridge Regression [24.785366757570202]
  古典的な尾根回帰条件において, オーバーフィッティング後の一般化の開始点であるグラッキングについて検討した。 理論的にも経験的にも、グルキングは原則的に増幅または排除できることを示す。 以上の結果から,グルーキングは深層学習の固有の障害モードではなく,特定の訓練条件の結果であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-27T16:52:04Z)
• Adaptive Dropout: Unleashing Dropout across Layers for Generalizable Image Super-Resolution [30.395464332809052]
  Blind Super-Resolution (blind SR) は、未知の劣化を伴うモデルの一般化能力を高めることを目的としている。 特徴の正規化による一般化を促進するドロップアウトにインスパイアされた従来手法は、ブラインドSRにおいて有望な結果を示した。 本稿では,ブラインドSRモデルの新たな正規化手法であるAdaptive Dropoutを提案する。
  論文  参考訳（メタデータ） (2025-06-15T06:21:39Z)
• Drop Dropout on Single-Epoch Language Model Pretraining [30.63248848082757]
  現代のLLMに共通する単一エポックな事前訓練タスクは、最小限のオーバーフィッティングをもたらす。 LMプレトレーニングにおけるドロップアウトの役割について、徹底的な実証研究は行われていない。 言語モデリング,モーコシンタクス(BLiMP),質問応答(SQuAD),自然言語推論(MNLI)のダウンストリーム性能は,事前トレーニング中にドロップアウトを適用しない場合に向上する。
  論文  参考訳（メタデータ） (2025-05-30T16:48:38Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。