論文の概要: Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets

• arxiv url: http://arxiv.org/abs/2405.18427v1
• Date: Tue, 28 May 2024 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:11:13.217781
• Title: Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
• Title（参考訳）: 高次元における重なり合うガウス混合の分類:最適分類器からニューラルネットへ
• Authors: Khen Cohen, Noam Levi, Yaron Oz,
• Abstract要約: 高次元重なり合うガウス混合モデル(GMM)データのバイナリ分類におけるベイズ最適決定境界の式を導出する。 我々は、実世界のデータにインスパイアされた合成GMMの実験を通じて、分類のために訓練されたディープニューラルネットワークが、導出した最適な分類器を近似する予測器を学習することを実証的に実証した。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive closed-form expressions for the Bayes optimal decision boundaries in binary classification of high dimensional overlapping Gaussian mixture model (GMM) data, and show how they depend on the eigenstructure of the class covariances, for particularly interesting structured data. We empirically demonstrate, through experiments on synthetic GMMs inspired by real-world data, that deep neural networks trained for classification, learn predictors which approximate the derived optimal classifiers. We further extend our study to networks trained on authentic data, observing that decision thresholds correlate with the covariance eigenvectors rather than the eigenvalues, mirroring our GMM analysis. This provides theoretical insights regarding neural networks' ability to perform probabilistic inference and distill statistical patterns from intricate distributions.
• Abstract（参考訳）: 高次元重なり合うガウス混合モデル(GMM)データのバイナリ分類におけるベイズ最適決定境界に対する閉形式式を導出し、特に興味深い構造化データに対してクラス共分散の固有構造に依存するかを示す。 我々は、実世界のデータにインスパイアされた合成GMMの実験を通じて、分類のために訓練されたディープニューラルネットワークが、導出した最適な分類器を近似する予測器を学習することを実証的に実証した。 さらに、本研究は、固有値よりも共分散固有ベクトルと相関する決定しきい値が、GMM分析を反映して、認証データに基づいてトレーニングされたネットワークに拡張される。 このことは、確率論的推論を実行し、複雑な分布から統計的パターンを抽出するニューラルネットワークの能力に関する理論的洞察を与える。

関連論文リスト

• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Estimating conditional density of missing values using deep Gaussian mixture model [5.639904484784126]
  本稿では,ディープニューラルネットワークの柔軟性とガウス混合モデルの簡易性を組み合わせたアプローチを提案する。 我々は,本モデルが条件付きGMMよりもログ類似度が高いことを実験的に検証した。
  論文  参考訳（メタデータ） (2020-10-05T17:39:25Z)
• Dissimilarity Mixture Autoencoder for Deep Clustering [0.0]
  異種混合オートエンコーダ(DMAE)は、特徴ベースのクラスタリングのためのニューラルネットワークモデルである。 DMAEはディープラーニングアーキテクチャをエンドツーエンドモデルに統合することができる。
  論文  参考訳（メタデータ） (2020-06-15T07:08:59Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。