論文の概要: New Multiple Descent Phenomena Induced by Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2610.38002v1
• Date: Tue, 27 Oct 2026 21:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.338034
• Title: New Multiple Descent Phenomena Induced by Heterogeneous Data
• Title（参考訳）: 異種データによる新しい多発性現象
• Abstract要約: 異なる共分散構造を持つデータセットの混合は、多発現象を生じさせる可能性があることを示す。 この結果は,モデルスケーリングが異なるデータグループに不均一に影響を及ぼすことを示すことによって,アルゴリズムフェアネスに潜在的に影響を及ぼす可能性がある。
• 参考スコア（独自算出の注目度）: 17.91591753541076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning models are often trained on large datasets assembled from many different sources, whose statistical properties can differ substantially. Understanding how this heterogeneity affects generalization performance is therefore important for explaining how model performance changes as model size increases. In this work, we study this question in linear random-feature models and show that mixtures of datasets with different covariance structures can give rise to a range of multiple-descent phenomena. We derive exact asymptotic expressions for the test error of each data source in the high-dimensional regime, and show how heterogeneity in covariance scale and spectral structure can introduce additional, group-dependent interpolation thresholds as model size increases. These phenomena arise even with noiseless labels and linear activations, showing that neither label noise nor activation nonlinearity is necessary for multiple-descent. Our results therefore provide a different perspective from classical explanations of multiple descent. More broadly, our results have potential implications for algorithmic fairness by showing that model scaling can affect different data groups unevenly, amplifying disparities in their generalization errors. We validate our theoretical results on synthetic Gaussian mixtures and real-world datasets, including MNIST and CIFAR-10.
• Abstract（参考訳）: 現代の機械学習モデルは、多くの異なるソースから集められた大きなデータセットで訓練されることが多い。 この不均一性が一般化性能にどのように影響するかを理解することは、モデルのサイズが大きくなるにつれてモデルの性能がどのように変化するかを説明する上で重要である。 本研究では、この問題を線形ランダム・フィーチャーモデルで研究し、異なる共分散構造を持つデータセットの混合が多重発散現象を生じさせることを示す。 高次元状態における各データソースのテスト誤差に対する正確な漸近式を導出し、モデルサイズが大きくなるにつれて、共分散スケールとスペクトル構造の不均一性が追加の群依存補間しきいを導入できることを示す。 これらの現象は、ノイズのないラベルや線形なアクティベーションでも発生し、複数発振にはラベルノイズやアクティベーションの非線形性は必要ないことを示す。 したがって、この結果は、古典的な多重降下の説明とは異なる見方を与える。 より広範に、我々の結果は、モデルスケーリングが異なるデータグループに不均一に影響を及ぼし、一般化誤差の相違を増幅することを示し、アルゴリズムフェアネスに潜在的に影響を及ぼす可能性がある。 我々は,MNISTやCIFAR-10を含む合成ガウス混合と実世界のデータセットに関する理論的結果を検証する。

関連論文リスト

• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• eGAD! double descent is explained by Generalized Aliasing Decomposition [0.0]
  本稿では,予測性能とモデル複雑性の関係を説明するため,GAD(Generalized Aliasing decomposition)と呼ぶ新しい分解法を提案する。 GADは予測誤差を3つの部分に分解する: 1) パラメータの数がデータポイントの数よりもはるかに小さい場合に支配するモデル不整合、2) データ不整合、3) パラメータの数がデータポイントの数よりはるかに大きいときに支配するデータ不整合、3) 一般化エイリアス。
  論文  参考訳（メタデータ） (2024-08-15T17:49:24Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
  多くのアプリケーションでは、データは異なるタイプの変数にまたがる。 最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。 完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:21:31Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Scalable Regularised Joint Mixture Models [2.0686407686198263]
  多くの応用において、データは異なる基底分布を持つ潜在群にまたがるという意味で不均一である。 我々は,(i)明示的多変量特徴分布,(ii)高次元回帰モデル,(iii)潜在群ラベルの連成学習を可能にする異種データに対するアプローチを提案する。 このアプローチは明らかに高次元において有効であり、計算効率のためのデータ削減と、特徴数が大きければ鍵信号を保持する再重み付けスキームを組み合わせる。
  論文  参考訳（メタデータ） (2022-05-03T13:38:58Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Multimodal Data Fusion in High-Dimensional Heterogeneous Datasets via Generative Models [16.436293069942312]
  我々は、教師なしの方法で高次元異種データから確率的生成モデルを学習することに興味がある。 本稿では,指数関数的な分布系を通じて異なるデータ型を結合する一般的なフレームワークを提案する。 提案アルゴリズムは、実数値(ガウス)とカテゴリー(マルチノミカル)の特徴を持つ、よく遭遇する異種データセットについて詳細に述べる。
  論文  参考訳（メタデータ） (2021-08-27T18:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。