論文の概要: Beyond Independent Measurements: General Compressed Sensing with GNN
Application
- arxiv url: http://arxiv.org/abs/2111.00327v1
- Date: Sat, 30 Oct 2021 20:35:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 18:05:36.176254
- Title: Beyond Independent Measurements: General Compressed Sensing with GNN
Application
- Title（参考訳）: Beyond Independent Measurements: GNNアプリケーションによる一般圧縮センシング
- Authors: Alireza Naderi and Yaniv Plan
- Abstract要約: 我々は、ノイズコーン観測からmathbbRn$の構造化信号$mathbfxを復元する問題を考察する。
実効的な$mathbfB$は測定値のサロゲートとして用いられる可能性がある。
- 参考スコア（独自算出の注目度）: 4.924126492174801
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We consider the problem of recovering a structured signal $\mathbf{x} \in
\mathbb{R}^{n}$ from noisy linear observations $\mathbf{y} =\mathbf{M}
\mathbf{x}+\mathbf{w}$. The measurement matrix is modeled as $\mathbf{M} =
\mathbf{B}\mathbf{A}$, where $\mathbf{B} \in \mathbb{R}^{l \times m}$ is
arbitrary and $\mathbf{A} \in \mathbb{R}^{m \times n}$ has independent
sub-gaussian rows. By varying $\mathbf{B}$, and the sub-gaussian distribution
of $\mathbf{A}$, this gives a family of measurement matrices which may have
heavy tails, dependent rows and columns, and singular values with a large
dynamic range. When the structure is given as a possibly non-convex cone $T
\subset \mathbb{R}^{n}$, an approximate empirical risk minimizer is proven to
be a robust estimator if the effective number of measurements is sufficient,
even in the presence of a model mismatch. In classical compressed sensing with
independent (sub-)gaussian measurements, one asks how many measurements are
needed to recover $\mathbf{x}$? In our setting, however, the effective number
of measurements depends on the properties of $\mathbf{B}$. We show that the
effective rank of $\mathbf{B}$ may be used as a surrogate for the number of
measurements, and if this exceeds the squared Gaussian mean width of $(T-T)
\cap \mathbb{S}^{n-1}$, then accurate recovery is guaranteed. Furthermore, we
examine the special case of generative priors in detail, that is when
$\mathbf{x}$ lies close to $T = \mathrm{ran}(G)$ and $G: \mathbb{R}^k
\rightarrow \mathbb{R}^n$ is a Generative Neural Network (GNN) with ReLU
activation functions. Our work relies on a recent result in random matrix
theory by Jeong, Li, Plan, and Yilmaz arXiv:2001.10631. .
- Abstract（参考訳）: 構造信号 $\mathbf{x} \in \mathbb{R}^{n}$ を雑音線形観測 $\mathbf{y} =\mathbf{M} \mathbf{x}+\mathbf{w}$ から復元する問題を考える。
測定行列は $\mathbf{M} = \mathbf{B}\mathbf{A}$ とモデル化され、$\mathbf{B} \in \mathbb{R}^{l \times m}$ は任意のものであり、$\mathbf{A} \in \mathbb{R}^{m \times n}$ は独立な部分ガウス列を持つ。
これは、$\mathbf{b}$と$\mathbf{a}$のサブガウス分布を変化させることで、重い尾、依存行と列、大きなダイナミックレンジを持つ特異値を持つ測定行列の族を与える。
構造がおそらく非凸円錐$T \subset \mathbb{R}^{n}$として与えられるとき、モデルミスマッチが存在する場合でも、実測値の有効数が十分であれば、近似経験的リスク最小化器はロバストな推定器であることが証明される。
独立な(サブ)ガウス計測を持つ古典的圧縮センシングでは、$\mathbf{x}$を回復するのに何つの測定が必要か尋ねる。
しかし、我々の設定では、実測値の有効数は $\mathbf{B}$ の性質に依存する。
実効的なランクである$\mathbf{b}$ が測定値のサロゲートとして用いられ、それが2乗ガウス平均幅である $(t-t) \cap \mathbb{s}^{n-1}$ を超える場合、正確な回復が保証される。
さらに、生成前の特別な場合、すなわち$\mathbf{x}$が$T = \mathrm{ran}(G)$ と $G: \mathbb{R}^k \rightarrow \mathbb{R}^n$ に近いとき、ReLU活性化関数を持つ生成ニューラルネットワーク(GNN)である。
我々の研究は、Jeong, Li, Plan, and Yilmaz arXiv:2001.10631 による確率行列理論の最近の結果に依存している。
.
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Optimal Estimator for Linear Regression with Shuffled Labels [17.99906229036223]
本稿では,シャッフルラベルを用いた線形回帰の課題について考察する。
mathbb Rntimes m の $mathbf Y、mathbb Rntimes p の mathbf Pi、mathbb Rptimes m$ の mathbf B、mathbb Rntimes m$ の $mathbf Win mathbb Rntimes m$ である。
論文 参考訳（メタデータ） (2023-10-02T16:44:47Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - On the computational and statistical complexity of over-parameterized
matrix sensing [30.785670369640872]
FGD法(Factorized Gradient Descend)を用いた低ランク行列検出の解法を検討する。
分解行列 $mathbff$ を分離列空間に分解することにより、$|mathbff_t - mathbff_t - mathbfx*|_f2$ が統計誤差に収束することを示す。
論文 参考訳（メタデータ） (2021-01-27T04:23:49Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z) - Efficient Statistics for Sparse Graphical Models from Truncated Samples [19.205541380535397]
i) スパースガウス図形モデルの推論と (ii) スパース線形モデルの回復支援の2つの基本的問題と古典的問題に焦点をあてる。
疎線型回帰については、$(bf x,y)$ が生成されるが、$y = bf xtopOmega* + MathcalN(0,1)$ と $(bf x, y)$ は、truncation set $S subseteq mathbbRd$ に属する場合にのみ見られる。
論文 参考訳（メタデータ） (2020-06-17T09:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。