論文の概要: A Dimensionality Reduction Method for Finding Least Favorable Priors
with a Focus on Bregman Divergence
- arxiv url: http://arxiv.org/abs/2202.11598v1
- Date: Wed, 23 Feb 2022 16:22:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 15:57:25.214566
- Title: A Dimensionality Reduction Method for Finding Least Favorable Priors
with a Focus on Bregman Divergence
- Title(参考訳): ブレグマン発散に焦点をあてた最好適な先行点を見つける次元性低減法
- Authors: Alex Dytso, Mario Goldenbaum, H. Vincent Poor, Shlomo Shamai (Shitz)
- Abstract要約: そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。
この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
- 参考スコア(独自算出の注目度): 108.28566246421742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common way of characterizing minimax estimators in point estimation is by
moving the problem into the Bayesian estimation domain and finding a least
favorable prior distribution. The Bayesian estimator induced by a least
favorable prior, under mild conditions, is then known to be minimax. However,
finding least favorable distributions can be challenging due to inherent
optimization over the space of probability distributions, which is
infinite-dimensional. This paper develops a dimensionality reduction method
that allows us to move the optimization to a finite-dimensional setting with an
explicit bound on the dimension. The benefit of this dimensionality reduction
is that it permits the use of popular algorithms such as projected gradient
ascent to find least favorable priors. Throughout the paper, in order to make
progress on the problem, we restrict ourselves to Bayesian risks induced by a
relatively large class of loss functions, namely Bregman divergences.
- Abstract(参考訳): 点推定におけるミニマックス推定器を特徴づける一般的な方法は、問題をベイズ推定領域に移し、最も好ましい事前分布を求めることである。
温和な条件下で、最も好ましくない事前に誘導されるベイズ推定器は、ミニマックスであることが知られている。
しかし、無限次元である確率分布の空間に固有の最適化があるため、最も好ましい分布を見つけることは困難である。
本稿では,次元に明示的な境界を持つ有限次元集合に最適化を移すための次元性低減法を開発した。
この次元減少の利点は、投影された勾配上昇のような一般的なアルゴリズムを使用することで、最も好ましくない事前を見つけられることである。
論文全体を通して、この問題を進展させるために、我々は比較的大きな損失関数、すなわちブレグマンダイバージェンス(bregman divergences)によって引き起こされるベイズリスクに自らを限定する。
関連論文リスト
- Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Conditional score-based diffusion models for Bayesian inference in
infinite dimensions [4.747324197963405]
そこで本稿では, 無限次元逆問題の後部から, 償却条件付きSDMに基づくサンプリング法を提案する。
解析の重要な部分は、無限次元のSDMを条件設定に拡張するには慎重に検討する必要があることを示すことに集中している。
論文 参考訳(メタデータ) (2023-05-28T15:34:15Z) - Improving the Accuracy of Marginal Approximations in Likelihood-Free
Inference via Localisation [0.0]
高次元確率自由推論への有望なアプローチは、低次元の辺縁後部を推定する。
このような低次元近似は、一見直感的な要約統計選択において驚くほど貧弱であることを示す。
実装や自動化が容易な限界推定に対する代替手法を提案する。
論文 参考訳(メタデータ) (2022-07-14T04:56:44Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Statistical Analysis of Wasserstein Distributionally Robust Estimators [9.208007322096535]
データ駆動の最適化と学習問題において,分極分布に頑健な定式化を実行する統計的手法を検討する。
結果として得られる分布ロバスト最適化(DRO)の定式化は、最適な輸送現象を用いて規定される。
このチュートリアルは、min-maxの定式化によって選択された逆数の性質に関する洞察と、最適輸送射影のさらなる応用に捧げられている。
論文 参考訳(メタデータ) (2021-08-04T15:45:47Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z) - The estimation error of general first order methods [12.472245917779754]
我々は,高次元回帰と低次元行列推定という2種類の推定問題を考察する。
我々は、観測数とパラメータ数の両方が分岐する高次元最適値の誤差を下界に導出する。
これらの下界は、推定誤差が下界とわずかに無視可能な項に一致するアルゴリズムが存在することを意味している。
論文 参考訳(メタデータ) (2020-02-28T18:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。