論文の概要: A Computationally Efficient Method for Learning Exponential Family Distributions

• arxiv url: http://arxiv.org/abs/2110.15397v1
• Date: Thu, 28 Oct 2021 18:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:30:06.945570
• Title: A Computationally Efficient Method for Learning Exponential Family Distributions
• Title（参考訳）: 指数族分布学習のための計算効率の良い方法
• Authors: Abhin Shah, Devavrat Shah, Gregory W. Wornell
• Abstract要約: 我々は、計算的かつ統計的に効率的な方法でサンプルから$k$パラメータ指数族(英語版)の自然パラメータを学習する問題を考える。 本手法は指数関数族に属する再分類分布の最大推定値とみなすことができる。
• 参考スコア（独自算出の注目度）: 29.289136623702056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the question of learning the natural parameters of a $k$ parameter minimal exponential family from i.i.d. samples in a computationally and statistically efficient manner. We focus on the setting where the support as well as the natural parameters are appropriately bounded. While the traditional maximum likelihood estimator for this class of exponential family is consistent, asymptotically normal, and asymptotically efficient, evaluating it is computationally hard. In this work, we propose a computationally efficient estimator that is consistent as well as asymptotically normal under mild conditions. We provide finite sample guarantees to achieve an ($\ell_2$) error of $\alpha$ in the parameter estimation with sample complexity $O(\mathrm{poly}(k/\alpha))$ and computational complexity ${O}(\mathrm{poly}(k/\alpha))$. To establish these results, we show that, at the population level, our method can be viewed as the maximum likelihood estimation of a re-parameterized distribution belonging to the same class of exponential family.
• Abstract（参考訳）: 我々は,i.i.d.サンプルからk$パラメータ最小指数関数ファミリの自然パラメータを計算的かつ統計的に効率的な方法で学習する問題を考える。 我々は、サポートと自然なパラメータが適切に境界付けられた設定に焦点を当てる。 この指数関数族に対する従来の最大確率推定器は一貫性があり、漸近的に正規であり、漸近的に効率が良いが、計算学的に難しい。 本研究では,温和な条件下で漸近的に正常な計算効率の高い推定器を提案する。 我々は、サンプル複雑性$O(\mathrm{poly}(k/\alpha))$と計算複雑性${O}(\mathrm{poly}(k/\alpha))$でパラメータ推定において$\alpha$の$\ell_2$)誤差を達成するための有限サンプル保証を提供する。 これらの結果を確立するために,本手法は,個体群レベルでは,同じ指数関数族に属する再パラメータ分布の最大推定値と見なすことができることを示した。

関連論文リスト

• On Computationally Efficient Learning of Exponential Family Distributions [33.229944519289795]
  我々は、サポートと自然なパラメータが適切にバウンドされている設定に焦点を当てる。 本手法は,ノードワイズ・スパースランダムフィールドに適した場合,$O(sf log(k)/alpha2)$のオーダー最適サンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-09-12T17:25:32Z)
• Provable benefits of score matching [30.317535687908755]
  スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。 確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。 スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
  論文  参考訳（メタデータ） (2023-06-03T03:42:30Z)
• Large Dimensional Independent Component Analysis: Statistical Optimality and Computational Tractability [13.104413212606577]
  独立成分分析(ICA)における最適統計性能と計算制約の影響について検討する。 最適サンプルの複雑性は次元において線形であることが示される。 我々は,最適サンプルの複雑性と最小収束率の両立が可能な計算抽出可能な推定値を開発する。
  論文  参考訳（メタデータ） (2023-03-31T15:46:30Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Off-policy estimation of linear functionals: Non-asymptotic theory for semi-parametric efficiency [59.48096489854697]
  観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。 このような手順の平均二乗誤差に対して非漸近上界を証明した。 非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
  論文  参考訳（メタデータ） (2022-09-26T23:50:55Z)
• Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process Interpolation [3.8979646385036175]
  マタン核の滑らかさは、大きなデータ限界におけるモデルの多くの重要な性質を決定する。 我々は,滑らか度パラメータの最大推定値が真理の下では過小評価できないことを証明した。 最大推定は、コンパクトに支持された自己相似関数のクラスにおける真の滑らかさを回復することを示す。
  論文  参考訳（メタデータ） (2022-03-10T14:45:57Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)
• Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
  我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。 我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
  論文  参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。