論文の概要: Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model:
A new take on Robust Interpolation
- arxiv url: http://arxiv.org/abs/2111.07041v1
- Date: Sat, 13 Nov 2021 05:19:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 17:43:23.545122
- Title: Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model:
A new take on Robust Interpolation
- Title（参考訳）: 異方性ガウス混合モデルにおけるミニマックス教師付きクラスタリング:ロバスト補間の新しい考察
- Authors: Stanislav Minsker, Mohamed Ndaoud and Yiqiu Shen
- Abstract要約: 2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。
その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
- 参考スコア（独自算出の注目度）: 5.98367009147573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the supervised clustering problem under the two-component
anisotropic Gaussian mixture model in high dimensions and in the non-asymptotic
setting. We first derive a lower and a matching upper bound for the minimax
risk of clustering in this framework. We also show that in the high-dimensional
regime, the linear discriminant analysis (LDA) classifier turns out to be
sub-optimal in the minimax sense. Next, we characterize precisely the risk of
$\ell_2$-regularized supervised least squares classifiers. We deduce the fact
that the interpolating solution may outperform the regularized classifier,
under mild assumptions on the covariance structure of the noise. Our analysis
also shows that interpolation can be robust to corruption in the covariance of
the noise when the signal is aligned with the "clean" part of the covariance,
for the properly defined notion of alignment. To the best of our knowledge,
this peculiar phenomenon has not yet been investigated in the rapidly growing
literature related to interpolation. We conclude that interpolation is not only
benign but can also be optimal, and in some cases robust.
- Abstract（参考訳）: 2成分異方性ガウス混合モデルの下での教師付きクラスタリング問題を高次元および非漸近設定で検討した。
まず、このフレームワークにおけるクラスタリングのミニマックスリスクに対して、下位および一致する上限を導出する。
また, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
次に、$\ell_2$-regularized supervised least squares 分類器のリスクを正確に特徴づける。
我々は,ノイズの共分散構造に対する軽度の仮定の下で,補間解が正規化分類器を上回る可能性があることを推定する。
また, 信号が共分散の「クリーン」部分と一致している場合, 適切に定義されたアライメントの概念のために, 補間は雑音の共分散の腐敗に対して頑健であることを示す。
我々の知る限りでは、この特異な現象は、補間に関する急速に成長している文献ではまだ研究されていない。
補間は良性だけでなく最適であり、場合によってはロバストなものであると結論づける。
関連論文リスト
- Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。
多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。
我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
論文 参考訳（メタデータ） (2024-06-20T02:23:28Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Precise Asymptotic Generalization for Multiclass Classification with
Overparameterized Linear Models [4.093769373833101]
Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。
我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。
厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
論文 参考訳（メタデータ） (2023-06-23T00:59:15Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-21T01:47:17Z) - Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse
Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。
我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。
シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-08T11:48:46Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple
descent [19.781475554462553]
本稿では、最小$ell_1$-norm補間器という、重要な種類の補間器の理論的理解を追求する。
我々は、奇異な多発現象である厳密な理論的正当化を観察し、提供する。
我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
論文 参考訳（メタデータ） (2021-10-18T17:51:14Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳（メタデータ） (2021-08-05T23:04:15Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - Wide flat minima and optimal generalization in classifying
high-dimensional Gaussian mixtures [8.556763944288116]
非平衡クラスタにおいても,ベイズ最適一般化誤差を実現する構成が存在することを示す。
また,平均二乗誤差損失の幅の広い平らな最小値を目標とするアルゴリズム的ケースについても検討した。
論文 参考訳（メタデータ） (2020-10-27T01:32:03Z) - The role of regularization in classification of high-dimensional noisy
Gaussian mixture [36.279288150100875]
雑音状態における2つのガウスの高次元混合を考える。
正規化凸分類器の一般化誤差を厳密に解析する。
ベイズ最適性能に到達できるような正規化の驚くべき効果について論じる。
論文 参考訳（メタデータ） (2020-02-26T14:54:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。