論文の概要: On maximum-likelihood estimation in the all-or-nothing regime
- arxiv url: http://arxiv.org/abs/2101.09994v1
- Date: Mon, 25 Jan 2021 10:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 05:29:23.789144
- Title: On maximum-likelihood estimation in the all-or-nothing regime
- Title（参考訳）: 全または無体制における最大類似度推定について
- Authors: Luca Corinzia, Paolo Penna, Wojciech Szpankowski, Joachim M. Buhmann
- Abstract要約: 解析はスパース設定で行われ、基礎となる信号は、次元の総数に対して部分線形にスケールする支持体を持つ。
Bernoulli分散信号の場合、MLEは、同じ問題における最小平均二乗誤差推定器(MMSE)のためにすでに確立されているEphall-or-nothing(AoN)相転移を受ける。
- 参考スコア（独自算出の注目度）: 14.192301094399765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of estimating a rank-1 additive deformation of a
Gaussian tensor according to the \emph{maximum-likelihood estimator} (MLE). The
analysis is carried out in the sparse setting, where the underlying signal has
a support that scales sublinearly with the total number of dimensions. We show
that for Bernoulli distributed signals, the MLE undergoes an
\emph{all-or-nothing} (AoN) phase transition, already established for the
minimum mean-square-error estimator (MMSE) in the same problem. The result
follows from two main technical points: (i) the connection established between
the MLE and the MMSE, using the first and second-moment methods in the
constrained signal space, (ii) a recovery regime for the MMSE stricter than the
simple error vanishing characterization given in the standard AoN, that is here
proved as a general result.
- Abstract（参考訳）: ガウステンソルの階数1の加法的変形を \emph{maximum-likelihood estimator} (MLE) に従って推定する問題について検討する。
解析はスパース設定で行われ、基礎となる信号は、次元の総数に対して部分線形にスケールする支持体を持つ。
我々は、ベルヌーイ分布信号に対して、MLEは、同じ問題における最小平均二乗誤差推定器(MMSE)に対して既に確立されている \emph{all-or-nothing} (AoN) 相転移を行うことを示す。
i) MLE と MMSE の接続は、制約された信号空間における第一モーメント法と第二モーメント法を用い、 (ii) MMSE の回復規則は、標準 AoN で与えられる単純なエラー消滅特性よりも厳格であり、これは一般的な結果として証明されている。
関連論文リスト
- Mean-Field Langevin Dynamics for Signed Measures via a Bilevel Approach [4.577104493960515]
平均場ランゲヴィン力学(英: Mean-field Langevin dynamics、MLFD)は、多様体上の確率測度に対する凸最適化に取り組む相互作用粒子法の一種。
我々は,MFLDフレームワークを拡張して,符号付き測度よりも最適化問題を凸化する方法を示す。
論文 参考訳（メタデータ） (2024-06-24T18:15:12Z) - Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities [0.5592394503914488]
本稿では、所定の基準測度$mu$の摂動として、目標測度$pi$を同定し、近似する手法を提案する。
我々の主な貢献は、多元対数ソボレフ不等式(LSI)と、このアンザッツとの近似との接続を明らかにすることである。
論文 参考訳（メタデータ） (2024-06-18T20:02:44Z) - Fundamental limits of Non-Linear Low-Rank Matrix Estimation [18.455890316339595]
ベイズ最適性能は、有効前のガウスモデルによって特徴づけられる。
信号を正確に再構成するためには、Nfrac 12 (1-1/k_F)$として増加する信号対雑音比が必要であり、$k_F$は関数の最初のゼロでないフィッシャー情報係数である。
論文 参考訳（メタデータ） (2024-03-07T05:26:52Z) - Randomized Physics-Informed Machine Learning for Uncertainty
Quantification in High-Dimensional Inverse Problems [49.1574468325115]
本研究では,高次元逆問題における不確実性定量化のための物理インフォームド機械学習手法を提案する。
我々は解析的に、そして、ハミルトン・モンテカルロとの比較を通して、rPICKLE はベイズ則によって与えられる真の後続に収束することを示す。
論文 参考訳（メタデータ） (2023-12-11T07:33:16Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Global Convergence of Sub-gradient Method for Robust Matrix Recovery:
Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。
我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
論文 参考訳（メタデータ） (2022-02-17T17:50:04Z) - Lattice partition recovery with dyadic CART [79.96359947166592]
我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。
この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。
本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。
我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
論文 参考訳（メタデータ） (2021-05-27T23:41:01Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳（メタデータ） (2020-06-22T16:43:35Z) - Information theoretic limits of learning a sparse rule [22.10167304165091]
システムサイズが無限大に大きくなると,サンプルごとの相互情報の変動式が証明される。
このような信号と、疎度と消滅率の適切なスケーリングに対して、MMSEはピースワイズ定数が増加しないことがわかった。
一般化誤差に対するオール・オー・ナッシング現象を,訓練例のサブ線形集合を用いて論じる。
論文 参考訳（メタデータ） (2020-06-19T18:29:10Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。