論文の概要: Squared Neural Families: A New Class of Tractable Density Models
- arxiv url: http://arxiv.org/abs/2305.13552v2
- Date: Wed, 25 Oct 2023 22:56:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 02:09:11.357839
- Title: Squared Neural Families: A New Class of Tractable Density Models
- Title(参考訳): 正方形ニューラルネットワーク:トラクタブル密度モデルの新しいクラス
- Authors: Russell Tsuchida and Cheng Soon Ong and Dino Sejdinovic
- Abstract要約: 正方形ニューラルネットワークファミリー(SNEFY)と呼ばれる新しい確率分布のクラスを開発し,検討する。
SNEFYsは、多くの興味のある場合において閉形式正規化定数を認め、フレキシブルで完全にトラクタブルな密度モデルをもたらすことを示す。
それらのユーティリティは、データタスクの欠如による様々な密度推定、条件付き密度推定、および密度推定について説明される。
- 参考スコア(独自算出の注目度): 23.337256081314518
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flexible models for probability distributions are an essential ingredient in
many machine learning tasks. We develop and investigate a new class of
probability distributions, which we call a Squared Neural Family (SNEFY),
formed by squaring the 2-norm of a neural network and normalising it with
respect to a base measure. Following the reasoning similar to the well
established connections between infinitely wide neural networks and Gaussian
processes, we show that SNEFYs admit closed form normalising constants in many
cases of interest, thereby resulting in flexible yet fully tractable density
models. SNEFYs strictly generalise classical exponential families, are closed
under conditioning, and have tractable marginal distributions. Their utility is
illustrated on a variety of density estimation, conditional density estimation,
and density estimation with missing data tasks.
- Abstract(参考訳): 確率分布の柔軟なモデルは、多くの機械学習タスクにおいて重要な要素である。
そこで我々は,ニューラルネットワークの2ノルムを平滑にすることで形成した正方形ニューラルネットワークファミリー(SNEFY, Squared Neural Family)と呼ばれる,新しい確率分布のクラスを開発し,検討する。
無限大のニューラルネットワークとガウス過程の間のよく確立された接続に類似した推論に従えば、SNEFYは、多くの場合において閉じた形式正規化定数を認め、フレキシブルで完全に引き寄せられる密度モデルをもたらすことを示す。
SNEFY は古典指数族を厳密に一般化し、条件付きで閉じ、引き分け可能な辺分布を持つ。
その有用性は、様々な密度推定、条件密度推定、データタスクの欠如による密度推定について示される。
関連論文リスト
- Score-based generative models break the curse of dimensionality in
learning a family of sub-Gaussian probability distributions [5.801621787540268]
標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。
パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。
本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
論文 参考訳(メタデータ) (2024-02-12T22:02:23Z) - Numerically assisted determination of local models in network scenarios [55.2480439325792]
統計的振る舞いを再現する明示的な局所モデルを見つけるための数値ツールを開発する。
グリーンベルガー・ホルン・ザイリンガー(GHZ)およびW分布の臨界振動性に関する予想を提供する。
開発されたコードとドキュメントは、281.com/mariofilho/localmodelsで公開されている。
論文 参考訳(メタデータ) (2023-03-17T13:24:04Z) - Copula Density Neural Estimation [4.86067125387358]
我々はコプラの概念を利用して、観測データに関連する確率密度関数を推定する。
その結果,新しい学習手法は複雑な分布をモデル化することができ,相互情報推定やデータ生成にも適用可能であることがわかった。
論文 参考訳(メタデータ) (2022-11-25T10:53:27Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳(メタデータ) (2022-02-02T20:11:33Z) - HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。
近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
論文 参考訳(メタデータ) (2021-12-02T01:24:43Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Marginalizable Density Models [14.50261153230204]
本稿では,変数の任意の部分集合の確率,限界,条件に対するクローズドフォーム表現を提供する,新しいディープネットワークアーキテクチャを提案する。
このモデルはまた、変数数に時間複雑性の対数依存しか依存しない並列サンプリングを可能にする。
論文 参考訳(メタデータ) (2021-06-08T23:54:48Z) - Deconvolutional Density Network: Free-Form Conditional Density
Estimation [6.805003206706124]
ニューラルネットワークを使用して、出力分布を明示的に計算することができる。
我々はデコンボリューションを用いた自由形式分布のモデル化の利点を示す。
我々は,本手法を他の多くの密度推定手法と比較した。
論文 参考訳(メタデータ) (2021-05-29T20:09:25Z) - Investigating maximum likelihood based training of infinite mixtures for
uncertainty quantification [16.30200782698554]
変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。
提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
論文 参考訳(メタデータ) (2020-08-07T14:55:53Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳(メタデータ) (2020-03-02T04:31:22Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。