論文の概要: Squared families: Searching beyond regular probability models
- arxiv url: http://arxiv.org/abs/2503.21128v1
- Date: Thu, 27 Mar 2025 03:39:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 12:54:33.413074
- Title: Squared families: Searching beyond regular probability models
- Title（参考訳）: 正方形族:正規確率モデルを超えて探索する
- Authors: Russell Tsuchida, Jiawei Liu, Cheng Soon Ong, Dino Sejdinovic,
- Abstract要約: 正方形族は統計量の線形変換を近似して得られる確率密度の族である。
彼らのフィッシャー情報は、ブレグマン発生器から誘導されるヘッセン計量の共形変換である。
正方形族核はフィッシャー情報、統計的発散、正規化定数のために計算する必要がある唯一の積分である。
- 参考スコア（独自算出の注目度）: 22.68738495315807
- License:
- Abstract: We introduce squared families, which are families of probability densities obtained by squaring a linear transformation of a statistic. Squared families are singular, however their singularity can easily be handled so that they form regular models. After handling the singularity, squared families possess many convenient properties. Their Fisher information is a conformal transformation of the Hessian metric induced from a Bregman generator. The Bregman generator is the normalising constant, and yields a statistical divergence on the family. The normalising constant admits a helpful parameter-integral factorisation, meaning that only one parameter-independent integral needs to be computed for all normalising constants in the family, unlike in exponential families. Finally, the squared family kernel is the only integral that needs to be computed for the Fisher information, statistical divergence and normalising constant. We then describe how squared families are special in the broader class of $g$-families, which are obtained by applying a sufficiently regular function $g$ to a linear transformation of a statistic. After removing special singularities, positively homogeneous families and exponential families are the only $g$-families for which the Fisher information is a conformal transformation of the Hessian metric, where the generator depends on the parameter only through the normalising constant. Even-order monomial families also admit parameter-integral factorisations, unlike exponential families. We study parameter estimation and density estimation in squared families, in the well-specified and misspecified settings. We use a universal approximation property to show that squared families can learn sufficiently well-behaved target densities at a rate of $\mathcal{O}(N^{-1/2})+C n^{-1/4}$, where $N$ is the number of datapoints, $n$ is the number of parameters, and $C$ is some constant.
- Abstract（参考訳）: 統計量の線形変換を近似して得られる確率密度の族である2乗族を導入する。
平方族は特異であるが、それらの特異性は正規モデルを形成するために容易に扱える。
特異点を扱うと、平方族は多くの便利な性質を持つ。
彼らのフィッシャー情報は、ブレグマン発生器から誘導されるヘッセン計量の共形変換である。
ブレグマン発生器は正規化定数であり、家族に統計的に分岐する。
正規化定数は、指数族とは異なり、族内のすべての正規化定数に対して1つのパラメータ非依存積分のみを計算する必要がある。
最後に、二乗族核はフィッシャー情報、統計的発散、正規化定数のために計算する必要がある唯一の積分である。
次に、平方族がより広範な$g$-familiesのクラスにおいて、統計量の線型変換に十分正規関数$g$を適用することによって得られる特殊性を記述する。
特殊特異点を取り除いた後、正に同質な族と指数族はフィッシャー情報がヘッセン計量の共形変換である唯一の$g$-familyであり、生成元は正規化定数を通してのみパラメータに依存する。
指数族とは異なり、偶数次単項族もパラメータ積分因数分解を許容する。
本研究では,2乗族におけるパラメータ推定と密度推定について,適切に特定された,不特定な設定で検討した。
我々は普遍近似特性を用いて、二乗族が$\mathcal{O}(N^{-1/2})+C n^{-1/4}$の速度で十分に高い目標密度を学習できることを示し、$N$はデータポイントの数、$n$はパラメータの数、$C$は定数である。
関連論文リスト
- Estimating the normal-inverse-Wishart distribution [0.6216023343793144]
NIWファミリーにおける平均パラメータから自然パラメータへ変換する収束手順について述べる。
これは、期待伝搬にNIWベースファミリを使用する場合に必要である。
論文 参考訳（メタデータ） (2024-05-25T06:39:39Z) - Generalized Data Thinning Using Sufficient Statistics [2.3488056916440856]
最近の論文では、いくつかのよく知られた自然指数族に対して、$X$ は独立確率変数 $X(1), ldots, X(K)$ に "thinned" され、$X = sum_k=1K X(k)$ となることを示した。
これらの独立確率変数は、従来のサンプル分割が失敗するコンテキストを含む、様々なモデルの検証と推論タスクに使用できる。
本稿では、この和の要求を緩和し、独立確率変数の既知の関数が$X$を正確に再構成することを求めることで、それらの手順を一般化する。
論文 参考訳（メタデータ） (2023-03-22T22:00:50Z) - General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean
Estimation [58.03500081540042]
プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。
すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
論文 参考訳（メタデータ） (2023-01-31T18:47:42Z) - Clustering above Exponential Families with Tempered Exponential Measures [28.532545355403123]
指数関数族とのリンクにより、$k$-meansクラスタリングは、幅広いデータ生成分布に一般化できるようになった。
指数族を超えて働くための枠組みは、公理化で彫られた人口最小化の頑丈さが欠如しているなど、道路ブロックを持ち上げるために重要である。
論文 参考訳（メタデータ） (2022-11-04T21:58:40Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。
SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
論文 参考訳（メタデータ） (2021-12-28T15:51:07Z) - Kernel Deformed Exponential Families for Sparse Continuous Attention [76.61129971916702]
カーネル指数および変形指数族の存在結果を示す。
実験により、カーネル変形指数族はデータ領域の複数のコンパクト領域に参加することができることが示された。
論文 参考訳（メタデータ） (2021-11-01T19:21:22Z) - Bayesian Quadrature on Riemannian Data Manifolds [79.71142807798284]
データに固有の非線形幾何学構造をモデル化する原則的な方法が提供される。
しかし、これらの演算は通常計算的に要求される。
特に、正規法則上の積分を数値計算するためにベイズ二次(bq)に焦点を当てる。
先行知識と活発な探索手法を両立させることで,BQは必要な評価回数を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2021-02-12T17:38:04Z) - Flexible mean field variational inference using mixtures of
non-overlapping exponential families [6.599344783327053]
標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。
拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
論文 参考訳（メタデータ） (2020-10-14T01:46:56Z) - Debiasing Distributed Second Order Optimization with Surrogate Sketching
and Scaled Regularization [101.5159744660701]
分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。
本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-02T18:08:14Z) - Cumulant-free closed-form formulas for some common (dis)similarities
between densities of an exponential family [38.13659821903422]
本研究では、累積関数の明示的使用を回避した(dis)相似性公式を報告する。
提案手法では, 指数関数列の密度を部分的に分解するだけでよい。
論文 参考訳（メタデータ） (2020-03-05T07:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。