論文の概要: Random Matrix Theory Proves that Deep Learning Representations of
GAN-data Behave as Gaussian Mixtures
- arxiv url: http://arxiv.org/abs/2001.08370v1
- Date: Tue, 21 Jan 2020 22:17:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 23:35:00.688730
- Title: Random Matrix Theory Proves that Deep Learning Representations of
GAN-data Behave as Gaussian Mixtures
- Title（参考訳）: 確率行列理論はGANデータの深い学習表現をガウス混合として証明する
- Authors: Mohamed El Amine Seddik, Cosme Louart, Mohamed Tamaazousti, Romain
Couillet
- Abstract要約: 生成逆数ネット(GAN)によって生成されたデータの深層学習表現は、いわゆるテキスト集中ランダムベクトルのクラスに該当するランダムベクトルである。
提案手法は,BigGANモデルを用いた画像生成と,人気の高い深層表現ネットワークを用いた画像生成によって検証される。
- 参考スコア（独自算出の注目度）: 44.06610082529756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper shows that deep learning (DL) representations of data produced by
generative adversarial nets (GANs) are random vectors which fall within the
class of so-called \textit{concentrated} random vectors. Further exploiting the
fact that Gram matrices, of the type $G = X^T X$ with $X=[x_1,\ldots,x_n]\in
\mathbb{R}^{p\times n}$ and $x_i$ independent concentrated random vectors from
a mixture model, behave asymptotically (as $n,p\to \infty$) as if the $x_i$
were drawn from a Gaussian mixture, suggests that DL representations of
GAN-data can be fully described by their first two statistical moments for a
wide range of standard classifiers. Our theoretical findings are validated by
generating images with the BigGAN model and across different popular deep
representation networks.
- Abstract（参考訳）: 本稿では,gan(generative adversarial nets)が生成するデータのdeep learning (dl)表現が,いわゆる \textit{concentrated} 確率ベクトルのクラスに属するランダムベクトルであることを示す。
さらに、$G = X^T X$ with $X=[x_1,\ldots,x_n]\in \mathbb{R}^{p\times n}$と$x_i$の混合モデルからの独立集中ランダムベクトルが、ガウス混合から$x_i$を引いたような漸近的に($n,p\to \infty$として)振舞うという事実を利用して、GAN-dataのDL表現は、幅広い標準分類器の最初の2つの統計的モーメントによって完全に記述できることを示唆している。
我々の理論的な発見は、bigganモデルで画像を生成し、異なる一般的なディープ表現ネットワークを通して検証される。
関連論文リスト
- SoS Certifiability of Subgaussian Distributions and its Algorithmic Applications [37.208622097149714]
すべての$d inmathbb N$に対して、すべての中心部分ガウス分布 $mathcal D$ on $mathbb Rd$, and every even $p inmathbb N$, $d-optimal inmathbb N$, $d-optimal inmathbb N$ が成り立つような普遍定数 $C>0$ が存在することを証明している。
これは、すべてのサブガウス分布がemphS-certifiably subgaussianであることを示す。
論文 参考訳（メタデータ） (2024-10-28T16:36:58Z) - Learning Mixtures of Gaussians Using Diffusion Models [9.118706387430883]
テレビエラーに対して$k$ Gaussiansの混合を学習するための新しいアルゴリズムを提案する。
我々のアプローチは解析的であり、拡散モデルの枠組みに依存している。
論文 参考訳（メタデータ） (2024-04-29T17:00:20Z) - Analysing heavy-tail properties of Stochastic Gradient Descent by means of Stochastic Recurrence Equations [0.0]
近年の研究では、グラディエント蛍光(SGD)の重いテール特性が再帰の確率的枠組みで研究されている。
我々は、引用された論文のいくつかのオープンな質問に答え、既約確率 (i-p) 行列の理論を適用して結果を拡張する。
論文 参考訳（メタデータ） (2024-03-20T13:39:19Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。
我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。
我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
論文 参考訳（メタデータ） (2022-05-23T20:20:27Z) - An Equivalence Principle for the Spectrum of Random Inner-Product Kernel
Matrices with Polynomial Scalings [21.727073594338297]
この研究は、機械学習と統計学の応用によって動機付けられている。
スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。
我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
論文 参考訳（メタデータ） (2022-05-12T18:50:21Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳（メタデータ） (2021-12-23T04:05:01Z) - Robust Compressed Sensing using Generative Models [98.64228459705859]
本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。
我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
論文 参考訳（メタデータ） (2020-06-16T19:07:41Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。