論文の概要: An MMSE Lower Bound via Poincar\'e Inequality

• arxiv url: http://arxiv.org/abs/2205.05848v1
• Date: Thu, 12 May 2022 02:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-14 00:33:38.228503
• Title: An MMSE Lower Bound via Poincar\'e Inequality
• Title（参考訳）: Poincar\eの不等式によるMMSE下層境界
• Authors: Ian Zieder and Alex Dytso and Martina Cardone
• Abstract要約: 本稿では,雑音観測から mathbbRd$ の $mathbfX を推定する最小平均二乗誤差 (MMSE) について検討する。 論文はMMSEの新たな下限を提供する。
• 参考スコア（独自算出の注目度）: 26.491437065671732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the minimum mean squared error (MMSE) of estimating $\mathbf{X} \in \mathbb{R}^d$ from the noisy observation $\mathbf{Y} \in \mathbb{R}^k$, under the assumption that the noise (i.e., $\mathbf{Y}|\mathbf{X}$) is a member of the exponential family. The paper provides a new lower bound on the MMSE. Towards this end, an alternative representation of the MMSE is first presented, which is argued to be useful in deriving closed-form expressions for the MMSE. This new representation is then used together with the Poincar\'e inequality to provide a new lower bound on the MMSE. Unlike, for example, the Cram\'{e}r-Rao bound, the new bound holds for all possible distributions on the input $\mathbf{X}$. Moreover, the lower bound is shown to be tight in the high-noise regime for the Gaussian noise setting under the assumption that $\mathbf{X}$ is sub-Gaussian. Finally, several numerical examples are shown which demonstrate that the bound performs well in all noise regimes.
• Abstract（参考訳）: 本稿では,ノイズが指数関数関数族に属することを前提に,雑音観測値である$\mathbf{y} \in \mathbb{r}^k$から$\mathbf{x} \in \mathbb{r}^d$を推定する最小平均二乗誤差(mmse)について検討する。 論文はMMSEの新たな下限を提供する。 この目的のために、MMSEの代替表現が最初に提示され、MMSEの閉形式式を導出するのに有用であると考えられている。 この新しい表現は Poincar\'e の不等式と共に使われ、MMSE に新しい下界を与える。 例えば、 cram\'{e}r-rao のバウンドとは異なり、新しいバウンドは入力 $\mathbf{x}$ 上のすべての可能な分布に対して成り立つ。 さらに、下限は、$\mathbf{x}$ が準ガウシアンであると仮定してガウシアンノイズ設定の高雑音環境においてタイトであることが示されている。 最後に、バウンドがすべてのノイズレジームでうまく機能することを示すいくつかの数値例を示す。

関連論文リスト

• Restless Linear Bandits [5.00389879175348]
  未知の$mathbbRd$-valued stationary $varphi$-mixing sequence of parameters $(theta_t,t in mathbbN)$ が存在すると仮定される。 指数混合率が$theta_t$の場合、LinMix-UCBと呼ばれる楽観的なアルゴリズムが提案される。
  論文  参考訳（メタデータ） (2024-05-17T14:37:39Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• MNL-Bandit in non-stationary environments [2.7737587389928793]
  我々は,最悪の場合,$tildeOleft(min left sqrtNTL;,; Nfrac13(Delta_inftyK)frac13 Tfrac23 + sqrtNTrightright)$を後悔するアルゴリズムを提案する。 特に、非定常性による推定器に導入されたバイアスの厳密な評価を行い、新しい濃度境界を導出する。
  論文  参考訳（メタデータ） (2023-03-04T21:10:42Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• SQ Lower Bounds for Learning Single Neurons with Massart Noise [40.1662767099183]
  マスアートノイズの存在下で単一ニューロンを学習するPAC。 我々は、任意の定数係数内で最適な誤差を近似できる効率的なSQアルゴリズムが存在しないことを証明した。
  論文  参考訳（メタデータ） (2022-10-18T15:58:00Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Threshold Phenomena in Learning Halfspaces with Massart Noise [56.01192577666607]
  ガウス境界の下でのマスアートノイズ付きmathbbRd$におけるPAC学習ハーフスペースの問題について検討する。 この結果は,Massartモデルにおける学習ハーフスペースの複雑さを定性的に特徴づけるものである。
  論文  参考訳（メタデータ） (2021-08-19T16:16:48Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)
• Tight Regret Bounds for Noisy Optimization of a Brownian Motion [118.65407541895851]
  本稿では,1次元ブラウン運動のベイズ最適化の問題点について考察する。 Omega(sigmasqrtT cdot log T)$.sigmasqrtT cdot log T)$.sigmasqrtT.sigmasqrtT.sigmasqrtT cdot log T)$.sigmasqrtT.sigmasqrtT.sigmasqrtT.sigmasqrtT.sigmasqrtT.sigmasqrtT.sigmasqrtT.sigmasqrtT.
  論文  参考訳（メタデータ） (2020-01-25T14:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。