論文の概要: On maximum-likelihood estimation in the all-or-nothing regime
- arxiv url: http://arxiv.org/abs/2101.09994v1
- Date: Mon, 25 Jan 2021 10:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 05:29:23.789144
- Title: On maximum-likelihood estimation in the all-or-nothing regime
- Title(参考訳): 全または無体制における最大類似度推定について
- Authors: Luca Corinzia, Paolo Penna, Wojciech Szpankowski, Joachim M. Buhmann
- Abstract要約: 解析はスパース設定で行われ、基礎となる信号は、次元の総数に対して部分線形にスケールする支持体を持つ。
Bernoulli分散信号の場合、MLEは、同じ問題における最小平均二乗誤差推定器(MMSE)のためにすでに確立されているEphall-or-nothing(AoN)相転移を受ける。
- 参考スコア(独自算出の注目度): 14.192301094399765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of estimating a rank-1 additive deformation of a
Gaussian tensor according to the \emph{maximum-likelihood estimator} (MLE). The
analysis is carried out in the sparse setting, where the underlying signal has
a support that scales sublinearly with the total number of dimensions. We show
that for Bernoulli distributed signals, the MLE undergoes an
\emph{all-or-nothing} (AoN) phase transition, already established for the
minimum mean-square-error estimator (MMSE) in the same problem. The result
follows from two main technical points: (i) the connection established between
the MLE and the MMSE, using the first and second-moment methods in the
constrained signal space, (ii) a recovery regime for the MMSE stricter than the
simple error vanishing characterization given in the standard AoN, that is here
proved as a general result.
- Abstract(参考訳): ガウステンソルの階数1の加法的変形を \emph{maximum-likelihood estimator} (MLE) に従って推定する問題について検討する。
解析はスパース設定で行われ、基礎となる信号は、次元の総数に対して部分線形にスケールする支持体を持つ。
我々は、ベルヌーイ分布信号に対して、MLEは、同じ問題における最小平均二乗誤差推定器(MMSE)に対して既に確立されている \emph{all-or-nothing} (AoN) 相転移を行うことを示す。
i) MLE と MMSE の接続は、制約された信号空間における第一モーメント法と第二モーメント法を用い、 (ii) MMSE の回復規則は、標準 AoN で与えられる単純なエラー消滅特性よりも厳格であり、これは一般的な結果として証明されている。
関連論文リスト
- Fundamental limits of Non-Linear Low-Rank Matrix Estimation [18.455890316339595]
ベイズ最適性能は、有効前のガウスモデルによって特徴づけられる。
信号を正確に再構成するためには、Nfrac 12 (1-1/k_F)$として増加する信号対雑音比が必要であり、$k_F$は関数の最初のゼロでないフィッシャー情報係数である。
論文 参考訳(メタデータ) (2024-03-07T05:26:52Z) - Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - Randomized Physics-Informed Machine Learning for Uncertainty
Quantification in High-Dimensional Inverse Problems [49.1574468325115]
本研究では,高次元逆問題における不確実性定量化のための物理インフォームド機械学習手法を提案する。
我々は解析的に、そして、ハミルトン・モンテカルロとの比較を通して、rPICKLE はベイズ則によって与えられる真の後続に収束することを示す。
論文 参考訳(メタデータ) (2023-12-11T07:33:16Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - When does Metropolized Hamiltonian Monte Carlo provably outperform
Metropolis-adjusted Langevin algorithm? [4.657614491309671]
本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。
連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:35:57Z) - Global Convergence of Sub-gradient Method for Robust Matrix Recovery:
Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。
我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
論文 参考訳(メタデータ) (2022-02-17T17:50:04Z) - Lattice partition recovery with dyadic CART [79.96359947166592]
我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。
この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。
本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。
我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
論文 参考訳(メタデータ) (2021-05-27T23:41:01Z) - Federated Edge Learning with Misaligned Over-The-Air Computation [36.39188653838991]
オーバーザエア計算(OAC)は、フェデレーションエッジラーニングのアップリンクで高速なモデル集約を実現する有望な技術です。
残留チャネルゲインミスマッチと非同期の存在下での最大確率(ml)推定器の設計は、オープンな問題である。
本稿では,フェデレートエッジ学習におけるOACの誤りを定式化し,白色マッチングフィルタとサンプリング方式を提案する。
論文 参考訳(メタデータ) (2021-02-26T17:19:56Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳(メタデータ) (2020-06-22T16:43:35Z) - Information theoretic limits of learning a sparse rule [22.10167304165091]
システムサイズが無限大に大きくなると,サンプルごとの相互情報の変動式が証明される。
このような信号と、疎度と消滅率の適切なスケーリングに対して、MMSEはピースワイズ定数が増加しないことがわかった。
一般化誤差に対するオール・オー・ナッシング現象を,訓練例のサブ線形集合を用いて論じる。
論文 参考訳(メタデータ) (2020-06-19T18:29:10Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。