論文の概要: Optimal Combination of Linear and Spectral Estimators for Generalized
Linear Models
- arxiv url: http://arxiv.org/abs/2008.03326v3
- Date: Fri, 25 Jun 2021 07:15:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 01:22:51.503965
- Title: Optimal Combination of Linear and Spectral Estimators for Generalized
Linear Models
- Title（参考訳）: 一般化線形モデルに対する線形およびスペクトル推定器の最適組み合わせ
- Authors: Marco Mondelli, Christos Thrampoulidis and Ramji Venkataramanan
- Abstract要約: 最適に $hatboldsymbol xrm L$ と $hatboldsymbol xrm s$ を組み合わせる方法を示す。
我々は,$(boldsymbol x, hatboldsymbol xrm L, hatboldsymbol xrm s)$の制限分布を確立するために,Adroximate Message Passing (AMP)アルゴリズムの設計と解析を行う。
- 参考スコア（独自算出の注目度）: 59.015960528781115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of recovering an unknown signal $\boldsymbol x$ given
measurements obtained from a generalized linear model with a Gaussian sensing
matrix. Two popular solutions are based on a linear estimator $\hat{\boldsymbol
x}^{\rm L}$ and a spectral estimator $\hat{\boldsymbol x}^{\rm s}$. The former
is a data-dependent linear combination of the columns of the measurement
matrix, and its analysis is quite simple. The latter is the principal
eigenvector of a data-dependent matrix, and a recent line of work has studied
its performance. In this paper, we show how to optimally combine
$\hat{\boldsymbol x}^{\rm L}$ and $\hat{\boldsymbol x}^{\rm s}$. At the heart
of our analysis is the exact characterization of the joint empirical
distribution of $(\boldsymbol x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol
x}^{\rm s})$ in the high-dimensional limit. This allows us to compute the
Bayes-optimal combination of $\hat{\boldsymbol x}^{\rm L}$ and
$\hat{\boldsymbol x}^{\rm s}$, given the limiting distribution of the signal
$\boldsymbol x$. When the distribution of the signal is Gaussian, then the
Bayes-optimal combination has the form $\theta\hat{\boldsymbol x}^{\rm
L}+\hat{\boldsymbol x}^{\rm s}$ and we derive the optimal combination
coefficient. In order to establish the limiting distribution of $(\boldsymbol
x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol x}^{\rm s})$, we design and
analyze an Approximate Message Passing (AMP) algorithm whose iterates give
$\hat{\boldsymbol x}^{\rm L}$ and approach $\hat{\boldsymbol x}^{\rm s}$.
Numerical simulations demonstrate the improvement of the proposed combination
with respect to the two methods considered separately.
- Abstract（参考訳）: 本研究では,gaussian sensing matrixを用いた一般化線形モデルから得られた未知信号 $\boldsymbol x$ の回復問題について検討する。
2つの一般的な解は、線形推定器 $\hat{\boldsymbol x}^{\rm l}$ とスペクトル推定器 $\hat{\boldsymbol x}^{\rm s}$ に基づいている。
前者は測定行列の列のデータ依存線形結合であり、その解析は非常に単純である。
後者はデータ依存行列の主要な固有ベクトルであり、最近の研究でその性能が研究されている。
本稿では、$\hat{\boldsymbol x}^{\rm L}$と$\hat{\boldsymbol x}^{\rm s}$を最適に組み合わせる方法を示す。
我々の分析の中心は、高次元極限において$(\boldsymbol x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol x}^{\rm s})$の合同経験的分布の正確な特徴づけである。
これにより、$\hat{\boldsymbol x}^{\rm l}$ と $\hat{\boldsymbol x}^{\rm s}$ のベイズ・オプティカル結合を計算することができる。
信号の分布がガウス的であるとき、ベイズ-最適結合は $\theta\hat{\boldsymbol x}^{\rm L}+\hat{\boldsymbol x}^{\rm s}$ という形式を持ち、最適結合係数を導出する。
$(\boldsymbol x, \hat{\boldsymbol x}^{\rm L}, \hat{\boldsymbol x}^{\rm s})$の極限分布を確立するために、反復が$\hat{\boldsymbol x}^{\rm L}$を付与する近似メッセージパッシング(AMP)アルゴリズムを設計・解析し、$\hat{\boldsymbol x}^{\rm s}$にアプローチする。
数値シミュレーションにより, 2つの手法を別々に検討した結果, 提案手法の改良が示された。
関連論文リスト
- Solving Quadratic Systems with Full-Rank Matrices Using Sparse or Generative Priors [33.0212223058894]
二次系$y_i=boldsymbol xtopboldsymbol A_iboldsymbol x, i=1,ldots,m$とフルランク行列$boldsymbol A_i$からの信号を回復する問題は、未割り当て距離幾何学やサブ波長イメージングなどの応用で頻繁に発生する。
本稿では、$mll n$ が $boldsymbol x$ の事前知識を取り入れた高次元の場合について述べる。
論文 参考訳（メタデータ） (2023-09-16T16:00:07Z) - Max-Margin Token Selection in Attention Mechanism [34.11955962489916]
我々は、$boldsymbolp$ あるいは $boldW$ の勾配勾配降下が最大マルジン解に収束することを証明する。
注目すべきは、我々の結果は一般的なデータに適用でき、正確には最適なトークン選択である。
論文 参考訳（メタデータ） (2023-06-23T16:35:46Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Adversarial Examples in Random Neural Networks with General Activations [14.12513604585194]
逆の例は、サブ指数幅とReLUまたはスムーズなアクティベーションを持つ2層ネットワークでユビキタスである。
逆の例 $boldsymbol x'$ が勾配の方向に沿って高い確率で見つかることを示す。
論文 参考訳（メタデータ） (2022-03-31T17:36:15Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Fast Graph Sampling for Short Video Summarization using Gershgorin Disc
Alignment [52.577757919003844]
高速グラフサンプリングの最近の進歩を利用して,短い動画を複数の段落に効率よく要約する問題について検討する。
実験結果から,本アルゴリズムは最先端の手法と同等の映像要約を実現し,複雑さを大幅に低減した。
論文 参考訳（メタデータ） (2021-10-21T18:43:00Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Self-training Converts Weak Learners to Strong Learners in Mixture
Models [86.7137362125503]
擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。
さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:59:16Z) - Extensions to the Proximal Distance Method of Constrained Optimization [7.813460653362097]
損失 $f(boldsymbolx)$ を S$ の $boldsymbolx の形に制約する問題について検討する。
融合制約は、滑らかさ、疎さ、あるいはより一般的な制約パターンをキャプチャすることができる。
論文 参考訳（メタデータ） (2020-09-02T03:32:41Z) - The generalization error of max-margin linear classifiers: Benign
overfitting and high dimensional asymptotics in the overparametrized regime [11.252856459394854]
現代の機械学習分類器は、トレーニングセットに消滅する分類誤差を示すことが多い。
これらの現象に触発され、線形分離可能なデータに対する高次元の最大マージン分類を再検討する。
論文 参考訳（メタデータ） (2019-11-05T00:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。