論文の概要: When do data mixtures improve scaling laws? Insights from high-dimensional regression

• arxiv url: http://arxiv.org/abs/2609.38011v1
• Date: Tue, 29 Sep 2026 16:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.766047
• Title: When do data mixtures improve scaling laws? Insights from high-dimensional regression
• Title（参考訳）: データ混合物はいつスケーリング法則を改善するのか? -高次元回帰からの考察-
• Abstract要約: 共有回帰関数を持つ高次元混合データ回帰モデルについて検討する。 我々は、アライメントされたパワーロー共分散スペクトルを持つ対象領域と補助領域に特化する。 適切なデータ混合は、どちらのドメイン単独でのトレーニングよりも、ターゲットドメインのテスト損失がより速く減少することを発見した。
• 参考スコア（独自算出の注目度）: 27.0471650610245
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern machine learning systems are trained on mixtures of data from different domains, and choosing the right mixture can substantially improve downstream performance. Despite an extensive literature on data mixing and reweighting, existing work is largely empirical and it remains unclear when auxiliary data genuinely improves scaling laws rather than merely providing more samples. To gain insight into this question, we study a high-dimensional mixed-data regression model with a shared regression function, heterogeneous covariances and noise levels, and dataset sizes that may grow at different rates. We establish the minimax risk under an ellipsoidal parameter constraint for the general covariance structure and derive deterministic equivalents for the test error of ridge regression under commutative covariances. We then specialize to a target domain and an auxiliary domain with aligned power-law covariance spectra, where the theory yields explicit scaling laws in terms of spectral decay, target regularity, and the relative growth of the two datasets. These laws identify regimes in which combining data mixtures provably yields a faster scaling rate than using either dataset alone. In particular, improving the scaling law requires a specific interplay between spectra and relative sample sizes of the domains. Our numerical experiments on language models exhibit the same qualitative phenomenon: appropriate data mixtures yield a faster decrease in target-domain test loss than training on either domain alone.
• Abstract（参考訳）: 現代の機械学習システムは、異なるドメインからのデータの混合に基づいて訓練されており、適切な混合を選択することで、下流のパフォーマンスが大幅に向上する。 データミキシングと再重み付けに関する広範な文献があるにもかかわらず、既存の研究はほとんど経験的であり、補助的なデータが単により多くのサンプルを提供するのではなく、真のスケーリング法則を改善するかどうかは不明である。 この問題に対する洞察を得るために、共有回帰関数、異種共分散と雑音レベル、および異なる速度で増大する可能性のあるデータセットサイズを持つ高次元混合データ回帰モデルについて検討する。 一般共分散構造に対する楕円パラメータ制約の下でミニマックスリスクを確立し、可換共分散の下でのリッジ回帰のテスト誤差に対する決定論的等価性を導出する。 次に、この理論は、スペクトル減衰、ターゲット正則性、および2つのデータセットの相対的成長の観点から、明示的なスケーリング法則を導出する、整列されたパワー-ロー共分散スペクトルを持つ対象領域と補助領域に特化する。 これらの法則は、データ混合物を組み合わせることで、どちらのデータセットも使用せずにより高速なスケーリング速度が得られるレギュレーションを識別する。 特に、スケーリング法則を改善するには、スペクトルと相対的なサンプルサイズの間の特定の相互作用が必要である。 適切なデータ混合は、どちらのドメイン単独でのトレーニングよりも、ターゲットドメインのテスト損失がより速く減少する。

関連論文リスト

• Impute-EM: Native Mixed-State Diffusion Models for Heterogeneous Data Imputation [71.74203645336385]
  Impute-EMは、現在のモデルとインプットされていないエントリを交換し、完了したデータに拡散バックボーンをリフィットする。 我々は、この更新を特徴付け、観測されたマスクインデクシングされた辺縁線が、その限界で目標と一致していることを示す。
  論文  参考訳（メタデータ） (2026-09-14T09:39:13Z)
• Explaining Data Mixing Scaling Laws [2.1378946778058796]
  データミキシングの基礎となる力学を説明する統一的なフレームワークを提案する。 異なるデータ混合物で訓練されたモデルのドメイン損失を管理する2つの重要な要因を同定する。 我々のモデルは、大規模で目に見えないスケールで非常に効果的な混合物を予測し、スケールをまたいだ外挿に成功している。
  論文  参考訳（メタデータ） (2026-06-06T13:31:38Z)
• Overspecified Mixture Discriminant Analysis: Exponential Convergence, Statistical Guarantees, and Remote Sensing Applications [2.124297073085513]
  本研究では,混合判別分析(MDA)の分類誤差について,実際のデータ分布に存在する混合成分数を超える場合の分類誤差について検討する。 予測最大化(EM)アルゴリズムのアルゴリズム収束と統計的分類誤差の両方を解析する。
  論文  参考訳（メタデータ） (2025-10-30T23:56:56Z)
• Learning and Generalization with Mixture Data [20.282908756947936]
  混合分布からデータをサンプリングする際の一般化性能と統計率について検討する。 特に,従来のPACフレームワークを用いた一般化性能について検討する。
  論文  参考訳（メタデータ） (2025-04-29T11:21:15Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。