論文の概要: Convergence Rates for the MAP of an Exponential Family and Stochastic Mirror Descent -- an Open Problem

• arxiv url: http://arxiv.org/abs/2111.06826v1
• Date: Fri, 12 Nov 2021 17:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 13:47:57.440577
• Title: Convergence Rates for the MAP of an Exponential Family and Stochastic Mirror Descent -- an Open Problem
• Title（参考訳）: 指数関数族写像の収束率と確率的ミラー降下 -- オープン問題
• Authors: R\'emi Le Priol, Frederik Kunstner, Damien Scieur, Simon Lacoste-Julien
• Abstract要約: 最大推定値の対数的部分最適度を上界化することの問題点を考察する。 驚いたことに、この問題に対する一般的な解決策は文献には見つからなかった。
• 参考スコア（独自算出の注目度）: 33.74484936098467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of upper bounding the expected log-likelihood sub-optimality of the maximum likelihood estimate (MLE), or a conjugate maximum a posteriori (MAP) for an exponential family, in a non-asymptotic way. Surprisingly, we found no general solution to this problem in the literature. In particular, current theories do not hold for a Gaussian or in the interesting few samples regime. After exhibiting various facets of the problem, we show we can interpret the MAP as running stochastic mirror descent (SMD) on the log-likelihood. However, modern convergence results do not apply for standard examples of the exponential family, highlighting holes in the convergence literature. We believe solving this very fundamental problem may bring progress to both the statistics and optimization communities.
• Abstract（参考訳）: 非漸近的方法で指数関数族に対する最大度推定 (mle) の期待log-likelihood sub-optimality、あるいは共役最大後座 (map) の上限を上限にする問題を考える。 驚いたことに、この問題に対する一般的な解決策は文献には見つからなかった。 特に、現在の理論はガウス的あるいは興味深い少数のサンプル体系には当てはまらない。 この問題の様々な側面を呈示した後、MAPはログライクリッド上で動作する確率ミラー降下 (SMD) と解釈できることを示す。 しかし、現代の収束結果は指数族(英語版)の標準的な例には適用されず、収束文学の穴を浮き彫りにしている。 この非常に根本的な問題を解決することは、統計と最適化のコミュニティの両方に進歩をもたらすと信じています。

関連論文リスト

• Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
  高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。 我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。 理論的結果を数値実験と既存文献との比較で補完する。
  論文  参考訳（メタデータ） (2024-08-12T12:43:30Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• The One-Inclusion Graph Algorithm is not Always Optimal [11.125968799758436]
  本稿では,Vapnik-Chervonenkisクラスに対する探索的一括グラフアルゴリズムを提案する。 我々は,近年の予測手法により,同じ低い高確率性能が継承されていることを示す。
  論文  参考訳（メタデータ） (2022-12-19T06:49:39Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Homeomorphic-Invariance of EM: Non-Asymptotic Convergence in KL Divergence for Exponential Families via Mirror Descent [18.045545816267385]
  指数関数的な家族分布の一般的な設定では、EMをミラー降下アルゴリズムと見なすとクルバック・リーブラー分岐の収束率につながることを示す。 以前の研究とは対照的に、分析はパラメトリゼーションの選択に関係しており、最小限の仮定で成り立つ。
  論文  参考訳（メタデータ） (2020-11-02T18:09:05Z)
• Generalized Sliced Distances for Probability Distributions [47.543990188697734]
  我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。 GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。 GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2020-02-28T04:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。