論文の概要: Learning and Generalization with Mixture Data
- arxiv url: http://arxiv.org/abs/2504.20651v1
- Date: Tue, 29 Apr 2025 11:21:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.866363
- Title: Learning and Generalization with Mixture Data
- Title（参考訳）: 混合データによる学習と一般化
- Authors: Harsh Vardhan, Avishek Ghosh, Arya Mazumdar,
- Abstract要約: 混合分布からデータをサンプリングする際の一般化性能と統計率について検討する。
特に,従来のPACフレームワークを用いた一般化性能について検討する。
- 参考スコア（独自算出の注目度）: 20.282908756947936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many, if not most, machine learning applications the training data is naturally heterogeneous (e.g. federated learning, adversarial attacks and domain adaptation in neural net training). Data heterogeneity is identified as one of the major challenges in modern day large-scale learning. A classical way to represent heterogeneous data is via a mixture model. In this paper, we study generalization performance and statistical rates when data is sampled from a mixture distribution. We first characterize the heterogeneity of the mixture in terms of the pairwise total variation distance of the sub-population distributions. Thereafter, as a central theme of this paper, we characterize the range where the mixture may be treated as a single (homogeneous) distribution for learning. In particular, we study the generalization performance under the classical PAC framework and the statistical error rates for parametric (linear regression, mixture of hyperplanes) as well as non-parametric (Lipschitz, convex and H\"older-smooth) regression problems. In order to do this, we obtain Rademacher complexity and (local) Gaussian complexity bounds with mixture data, and apply them to get the generalization and convergence rates respectively. We observe that as the (regression) function classes get more complex, the requirement on the pairwise total variation distance gets stringent, which matches our intuition. We also do a finer analysis for the case of mixed linear regression and provide a tight bound on the generalization error in terms of heterogeneity.
- Abstract（参考訳）: 多くの機械学習アプリケーションでは、トレーニングデータは自然に異質である(例えば、ニューラルネットワークトレーニングにおけるフェデレーション学習、敵攻撃、ドメイン適応)。
データの不均一性は、現代の大規模学習における大きな課題の1つとして認識されている。
不均一なデータを表現するための古典的な方法は混合モデルである。
本稿では,混合分布からデータをサンプリングする場合の一般化性能と統計率について検討する。
まず、サブポピュレーション分布の対の総変動距離の観点から、混合物の不均一性を特徴付ける。
その後,本論文の中心的テーマとして,混合を学習のための単一(一様)分布として扱うことができる範囲を特徴付ける。
特に、古典的なPACフレームワークによる一般化性能とパラメトリック(線形回帰、超平面混合)および非パラメトリック(Lipschitz, convex, H\"older-smooth")回帰問題に対する統計的誤差率について検討する。
これを実現するために、Radecher複雑性と(局所)ガウス複雑性を混合データに束縛し、それらをそれぞれ一般化と収束率を得るために適用する。
我々は、(回帰)関数クラスがより複雑になるにつれて、対の総変分距離の要件が厳密になり、直観に一致することを観察する。
また、混合線形回帰の場合のより詳細な解析を行い、不均一性の観点から一般化誤差に厳密な拘束を与える。
関連論文リスト
- Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳（メタデータ） (2023-10-12T10:56:25Z) - High-Dimensional Undirected Graphical Models for Arbitrary Mixed Data [2.2871867623460207]
多くのアプリケーションでは、データは異なるタイプの変数にまたがる。
最近の進歩は、バイナリ連続ケースにどのように取り組めるかを示しているが、一般的な混合変数型構造は依然として困難である。
完全混合型の変数を持つデータに対して,フレキシブルでスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:21:31Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳（メタデータ） (2022-10-11T20:39:38Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Gaussian Universality of Linear Classifiers with Random Labels in
High-Dimension [24.503842578208268]
高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。
特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
論文 参考訳（メタデータ） (2022-05-26T12:25:24Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - A Robust and Flexible EM Algorithm for Mixtures of Elliptical
Distributions with Missing Data [71.9573352891936]
本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。
楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。
合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
論文 参考訳（メタデータ） (2022-01-28T10:01:37Z) - Uniform Consistency in Nonparametric Mixture Models [12.382836502781258]
非パラメトリック混合モデルと混合回帰モデルにおける一様整合性について検討する。
混合回帰の場合、回帰関数の$L1$収束を証明し、成分回帰関数を任意に交わすことができる。
論文 参考訳（メタデータ） (2021-08-31T17:53:52Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。
最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。
本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T05:21:13Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。