論文の概要: Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data

• arxiv url: http://arxiv.org/abs/2609.11917v1
• Date: Thu, 10 Sep 2026 17:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.48321
• Title: Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
• Title（参考訳）: データスカシティとモデルスポーザリティ - 繰り返しデータにオーバーフィットするエクスプロイトの混合
• Abstract要約: データ繰り返しにおいて、Mixture-of-Experts(MoEs)はより高速に劣化することを示す。 データが64回以上繰り返された場合でも、MoEは高密度モデルより優れている。 高繰り返し状態におけるMoE過剰適合と相関する内部機構を解析した。
• 参考スコア（独自算出の注目度）: 119.14301046837822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the supply of human-written text is exhausted, it has become standard practice to repeat language model training data. Prior work has studied data repetition for densely activated Transformers, but the effects of data repetition remains largely unexplored for recently dominant sparse architectures such as Mixture-of-Experts (MoE), despite their increased compute efficiency. We vary data repetition rates across single- and multi-domain data mixes, and across MoE settings, including expert count and granularity. We consistently find, for models ranging from 80M to 1B active (8.5B total) parameters, that MoEs degrade more rapidly under data repetition. This effect increases with sparsity, dictated by total rather than active parameters. While 80M dense models can repeat data over 8x with minimal degradation, MoEs instead begin to suffer at 4x, and deteriorate rapidly, ceding their performance benefits in all-unique data settings to underperform dense models after 32x. We experiment with existing regularization methods as a potential remedy. We find that some methods, such as dropout, can mitigate overfitting. In particular, with strong masking-based regularization, MoEs are able to outperform dense models even when data is repeated more than 64 times. However, no method fully matches the performance of all-unique training data. Finally, we analyze internal mechanisms correlated with MoE overfitting in high repetition regimes, and find that MoE routing universally stabilizes early in training, and that expert specialization correlates with overfitting to repeated data. In sum, our work addresses the adverse interactions between sparsity and data repetition: we present evidence for the core mechanisms of overfitting and its potential remediation, and suggest promising avenues for future methods to reduce over-specialization in model parameters by disrupting memorization patterns.
• Abstract（参考訳）: 人文テキストの供給が枯渇しているため、言語モデルトレーニングデータを繰り返すのが一般的になっている。 従来、高密度に活性化されたトランスフォーマーのデータ繰り返しについて研究されてきたが、その計算効率が向上したにもかかわらず、Mixture-of-Experts (MoE) のような近年支配的なスパースアーキテクチャでは、データ反復の効果はほとんど探索されていない。 私たちは、シングルドメインとマルチドメインのデータミックス、専門家数や粒度を含むMoE設定間で、データの反復率を変化させています。 80Mから1B(合計8.5B)のモデルでは、MoEsはデータ繰り返しでより急速に劣化する。 この効果は、アクティブなパラメータではなく、合計によって予測される空間性によって増加する。 8Mの高密度モデルでは、最小限の劣化で8倍以上のデータを繰り返すことができるが、MoEは4倍に苦しむようになり、急速に劣化し、32倍以降の高密度モデルではパフォーマンス上のメリットを損なうことになる。 既存の正規化手法を潜在的な治療法として実験する。 ドロップアウトなどいくつかの手法がオーバーフィッティングを軽減できることがわかった。 特に、強力なマスキングベースの正規化により、64回以上のデータが繰り返された場合でも、MoEは密度の高いモデルよりも優れる。 しかし、すべての一般のトレーニングデータのパフォーマンスに完全にマッチする手法は存在しない。 そして,MoEルーティングが訓練の早期に普遍的に安定し,専門家の専門化は繰り返しデータへの過剰適合と相関することを示した。 まとめると、我々の研究は、疎結合とデータ反復の有害な相互作用に対処し、過剰適合のコアメカニズムとその潜在的な修復の証拠を示し、記憶パターンを乱すことによってモデルパラメータの過度な化を減らすための将来的な方法として、有望な方法を提案する。

関連論文リスト

• DIM-SUM: Dynamic IMputation for Smart Utility Management [4.494470981739729]
  DIM-SUMは、頑健な計算モデルをトレーニングするための前処理フレームワークである。 DIM-SUMは、人工的にマスクされたトレーニングデータと本当の欠落パターンのギャップを埋める。 DIM-SUMは、処理時間が少なく、トレーニングデータも大幅に少ないため、従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-24T21:38:06Z)
• Reformulation for Pretraining Data Augmentation [6.3722361366939255]
  本稿では,MGA(Massive Genre-Audience)の改訂手法を提案する。 スケーリングシナリオにおいて、データ繰り返しとアップサンプリングに対して優れたパフォーマンスを示すことによって、その中核的なメリットを実験的に検証する。 我々の研究は、MGAがトレーニングデータセットを大幅に拡張し、繰り返しボトルネックを効果的に軽減し、大規模言語モデルのより効率的なスケーリングを可能にする、信頼性の高い経路を提供することを示している。
  論文  参考訳（メタデータ） (2025-02-06T17:19:55Z)
• DiffPuter: Empowering Diffusion Models for Missing Data Imputation [56.48119008663155]
  本稿ではDiffPuterについて紹介する。DiffPuterは、データ計算の欠如に対する期待最大化(EM)アルゴリズムと組み合わせた、カスタマイズされた拡散モデルである。 我々の理論的解析は、DiffPuterのトレーニングステップがデータ密度の最大推定値に対応することを示している。 DiffPuterは,最も競争力のある既存手法と比較して,MAEが6.94%,RMSEが4.78%向上した。
  論文  参考訳（メタデータ） (2024-05-31T08:35:56Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Scaling Laws and Interpretability of Learning from Repeated Data [4.3242395495523525]
  データの大部分がユニークだが、そのごく一部が何度も繰り返されるモデル群をトレーニングします。 また,2重降下現象が出現し,連続したデータによってテスト損失が増加し,トレーニングの途中で増加することが示唆された。 予測可能な繰り返し周波数の範囲は、驚くほどパフォーマンスが低下する。
  論文  参考訳（メタデータ） (2022-05-21T02:14:27Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。