論文の概要: On Computationally Efficient Learning of Exponential Family
Distributions
- arxiv url: http://arxiv.org/abs/2309.06413v1
- Date: Tue, 12 Sep 2023 17:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 11:50:44.149700
- Title: On Computationally Efficient Learning of Exponential Family
Distributions
- Title（参考訳）: 指数関数分布の計算効率のよい学習について
- Authors: Abhin Shah, Devavrat Shah, Gregory W. Wornell
- Abstract要約: 我々は、サポートと自然なパラメータが適切にバウンドされている設定に焦点を当てる。
本手法は,ノードワイズ・スパースランダムフィールドに適した場合,$O(sf log(k)/alpha2)$のオーダー最適サンプル複雑性を実現する。
- 参考スコア（独自算出の注目度）: 33.229944519289795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the classical problem of learning, with arbitrary accuracy, the
natural parameters of a $k$-parameter truncated \textit{minimal} exponential
family from i.i.d. samples in a computationally and statistically efficient
manner. We focus on the setting where the support as well as the natural
parameters are appropriately bounded. While the traditional maximum likelihood
estimator for this class of exponential family is consistent, asymptotically
normal, and asymptotically efficient, evaluating it is computationally hard. In
this work, we propose a novel loss function and a computationally efficient
estimator that is consistent as well as asymptotically normal under mild
conditions. We show that, at the population level, our method can be viewed as
the maximum likelihood estimation of a re-parameterized distribution belonging
to the same class of exponential family. Further, we show that our estimator
can be interpreted as a solution to minimizing a particular Bregman score as
well as an instance of minimizing the \textit{surrogate} likelihood. We also
provide finite sample guarantees to achieve an error (in $\ell_2$-norm) of
$\alpha$ in the parameter estimation with sample complexity $O({\sf
poly}(k)/\alpha^2)$. Our method achives the order-optimal sample complexity of
$O({\sf log}(k)/\alpha^2)$ when tailored for node-wise-sparse Markov random
fields. Finally, we demonstrate the performance of our estimator via numerical
experiments.
- Abstract（参考訳）: 古典的な学習問題は、任意の精度で、計算的かつ統計的に効率的な方法でサンプルから$k$-parameter truncated \textit{minimal}指数族の自然なパラメータを考える。
我々は、サポートと自然なパラメータが適切に境界付けられた設定に焦点を当てる。
この指数関数族に対する従来の最大確率推定器は一貫性があり、漸近的に正規であり、漸近的に効率が良いが、計算学的に難しい。
本研究では,新しい損失関数と,温和な条件下での漸近的に正常かつ一貫した計算効率の高い推定器を提案する。
本手法は,個体群レベルでは,同じ指数関数族に属する再パラメータ分布の最大推定値と見なすことができる。
さらに、我々の推定器は、特定のブレグマンスコアを最小化する解として解釈でき、また \textit{surrogate} の確率を最小化する例を示す。
また、サンプル複雑性$O({\sf poly}(k)/\alpha^2)$のパラメータ推定において、$\alpha$の誤差($\ell_2$-norm)を達成するための有限サンプル保証を提供する。
本手法は,ノードワイズ・スパース・マルコフのランダムフィールドに適した場合,$O({\sf log}(k)/\alpha^2)$のオーダー最適サンプル複雑性を実現する。
最後に,数値実験により推定器の性能を実証する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Provable benefits of score matching [30.317535687908755]
スコアマッチング損失が計算効率良く最適化できるような分布の自然指数族の最初の例を示す。
確率損失を最適化するためのゼロ階または1階のオラクルの設計はNPハードであることを示す。
スコアマッチング損失の最小化は、計算的かつ統計的に効率的であり、周囲の次元は複雑である。
論文 参考訳（メタデータ） (2023-06-03T03:42:30Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-19T14:48:54Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Asymptotic Bounds for Smoothness Parameter Estimates in Gaussian Process
Interpolation [3.8979646385036175]
マタン核の滑らかさは、大きなデータ限界におけるモデルの多くの重要な性質を決定する。
我々は,滑らか度パラメータの最大推定値が真理の下では過小評価できないことを証明した。
最大推定は、コンパクトに支持された自己相似関数のクラスにおける真の滑らかさを回復することを示す。
論文 参考訳（メタデータ） (2022-03-10T14:45:57Z) - A Computationally Efficient Method for Learning Exponential Family
Distributions [29.289136623702056]
我々は、計算的かつ統計的に効率的な方法でサンプルから$k$パラメータ指数族(英語版)の自然パラメータを学習する問題を考える。
本手法は指数関数族に属する再分類分布の最大推定値とみなすことができる。
論文 参考訳（メタデータ） (2021-10-28T18:42:04Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Estimation in Tensor Ising Models [5.161531917413708]
N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。
特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。
我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
論文 参考訳（メタデータ） (2020-08-29T00:06:58Z) - Stochastic Proximal Gradient Algorithm with Minibatches. Application to
Large Scale Learning Models [2.384873896423002]
非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。
我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
論文 参考訳（メタデータ） (2020-03-30T10:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。