論文の概要: PSD Representations for Effective Probability Models
- arxiv url: http://arxiv.org/abs/2106.16116v2
- Date: Thu, 1 Jul 2021 13:41:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 14:05:40.950467
- Title: PSD Representations for Effective Probability Models
- Title(参考訳): 有効確率モデルのためのpsd表現
- Authors: Alessandro Rudi and Carlo Ciliberto
- Abstract要約: 最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
- 参考スコア(独自算出の注目度): 117.35298398434628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding a good way to model probability densities is key to probabilistic
inference. An ideal model should be able to concisely approximate any
probability, while being also compatible with two main operations:
multiplications of two models (product rule) and marginalization with respect
to a subset of the random variables (sum rule). In this work, we show that a
recently proposed class of positive semi-definite (PSD) models for non-negative
functions is particularly suited to this end. In particular, we characterize
both approximation and generalization capabilities of PSD models, showing that
they enjoy strong theoretical guarantees. Moreover, we show that we can perform
efficiently both sum and product rule in closed form via matrix operations,
enjoying the same versatility of mixture models. Our results open the way to
applications of PSD models to density estimation, decision theory and
inference. Preliminary empirical evaluation supports our findings.
- Abstract(参考訳): 確率密度をモデル化する良い方法を見つけることは確率的推論の鍵となる。
理想モデルは、任意の確率を簡潔に近似できると同時に、2つの主演算、すなわち2つのモデル(積則)の乗算と確率変数(和則)の部分集合に対する辺数化とを両立させることができる。
本研究では,最近提案された非負関数に対する正半定義(psd)モデルが,この目的に特に適合することを示す。
特に,PSDモデルの近似と一般化能力の両方を特徴付け,理論的保証を強く享受することを示す。
さらに, 混合モデルの汎用性を活かして, 閉じた形状の和と積の規則を効率的に実行可能であることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
予備的評価は我々の発見を裏付ける。
関連論文リスト
- Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。
CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。
CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文 参考訳(メタデータ) (2024-02-05T03:25:04Z) - Out of Distribution Detection, Generalization, and Robustness Triangle
with Maximum Probability Theorem [2.0654955576087084]
MPTは、モデルが確率変数に仮定する確率分布を用いて、モデルの確率の上限を与える。
我々は,MPTをCNNのトレーニングにおける正規化スキームとして組み込むことにより,コンピュータビジョンにおけるアウト・オブ・ディストリビューション(OOD)検出問題に挑戦する。
論文 参考訳(メタデータ) (2022-03-23T02:42:08Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Learning PSD-valued functions using kernel sums-of-squares [94.96262888797257]
PSDコーンの値を取る関数に対して,カーネルの総和モデルを導入する。
PSD関数の普遍近似を構成することを示し、サブサンプル等式制約の場合の固有値境界を導出する。
次に、この結果を凸関数のモデル化に応用し、ヘッセンのカーネル和-二乗表現を強制する。
論文 参考訳(メタデータ) (2021-11-22T16:07:50Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Probabilistic Generating Circuits [50.98473654244851]
効率的な表現のための確率的生成回路(PGC)を提案する。
PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。
我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
論文 参考訳(メタデータ) (2021-02-19T07:06:53Z) - Referenced Thermodynamic Integration for Bayesian Model Selection:
Application to COVID-19 Model Selection [1.9599274203282302]
ベイズ係数と呼ばれる2つのモデルの正規化定数の比率を計算する方法を示す。
本稿では,単一のモデルの正規化定数を効率よく計算するTI法を,参照TI法(referenceed TI)に応用する。
この手法は、実際の問題に適用した場合、韓国の半機械的階層的ベイズモデルのモデル選択を行うのに有用であることが示されている。
論文 参考訳(メタデータ) (2020-09-08T16:32:06Z) - Probability Link Models with Symmetric Information Divergence [1.5749416770494706]
リンクモデルの2つの一般的なクラスが提案されている。
最初のモデルは2つの生存関数を結び、比例奇数や変化点のようなモデルに適用できる。
2つ目のモデルは2つの累積確率分布関数をリンクする。
論文 参考訳(メタデータ) (2020-08-10T19:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。