Fugu-MT 論文翻訳(概要): Long-Tail Theory under Gaussian Mixtures

論文の概要: Long-Tail Theory under Gaussian Mixtures

arxiv url: http://arxiv.org/abs/2307.10736v2
Date: Mon, 24 Jul 2023 19:28:46 GMT
ステータス: 処理完了
システム内更新日: 2023-07-26 20:01:45.744340
Title: Long-Tail Theory under Gaussian Mixtures
Title（参考訳）: ガウス混合系におけるロングテール理論
Authors: Arman Bolatov, Maxat Tezekbayev, Igor Melnykov, Artur Pak, Vassilina Nikoulina and Zhenisbek Assylbekov
Abstract要約: 本研究は, 長期分布の場合, 新たなデータへの最適一般化のために, 稀なトレーニング例を考慮すべきであることを示す。サブポピュレーション周波数分布において,尾部が短くなるにつれて,線形モデルと非線形モデルのパフォーマンスギャップが小さくなることを示す。
参考スコア（独自算出の注目度）: 14.490709717174264
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We suggest a simple Gaussian mixture model for data generation that complies with Feldman's long tail theory (2020). We demonstrate that a linear classifier cannot decrease the generalization error below a certain level in the proposed model, whereas a nonlinear classifier with a memorization capacity can. This confirms that for long-tailed distributions, rare training examples must be considered for optimal generalization to new data. Finally, we show that the performance gap between linear and nonlinear models can be lessened as the tail becomes shorter in the subpopulation frequency distribution, as confirmed by experiments on synthetic and real data.
Abstract（参考訳）: フェルドマンのロングテール理論(2020年)に準拠したデータ生成のための単純なガウス混合モデルを提案する。線形分類器は,提案モデルの一定レベル以下では一般化誤差を低減できないが,記憶容量を有する非線形分類器は可能である。これは、長い尾の分布に対して、新しいデータへの最適な一般化のために稀なトレーニング例を考慮しなければならないことを裏付ける。最後に, 合成データおよび実データ実験により確認されるように, 尾部がサブポピュレーション周波数分布において短くなるにつれて, 線形モデルと非線形モデルの性能ギャップが小さくなることを示す。

関連論文リスト

The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文参考訳（メタデータ） (2023-06-20T16:58:00Z)
Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
論文参考訳（メタデータ） (2022-05-26T12:25:24Z)
Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文参考訳（メタデータ） (2022-03-08T08:57:43Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文参考訳（メタデータ） (2021-04-11T09:50:24Z)
The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文参考訳（メタデータ） (2021-02-14T15:49:04Z)
Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization [3.308743964406687]
グラフ畳み込みを適用した後にデータを分類することに最も基本的なレベルで依存する新しいクラスの学習モデルが登場しました。グラフの畳み込みは、データを約1/sqrtD$の係数で線形に分離できる状態を拡張していることを示す。
論文参考訳（メタデータ） (2021-02-13T17:46:57Z)
Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文参考訳（メタデータ） (2020-12-31T07:24:30Z)
Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。後者の分類誤差に関する新しい非漸近境界を導出する。この結果は, 確率が一定である雑音モデルに拡張される。
論文参考訳（メタデータ） (2020-11-18T07:59:55Z)
Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文参考訳（メタデータ） (2020-06-22T21:12:31Z)
Optimal Regularization Can Mitigate Double Descent [29.414119906479954]
最適正則化を用いて二重発振現象を回避できるかどうかを検討した。我々は、最適に調整された$ell$正規化が、ニューラルネットワークを含むより一般的なモデルの2重降下を可能にすることを実証的に実証した。
論文参考訳（メタデータ） (2020-03-04T05:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。