論文の概要: HyperSPNs: Compact and Expressive Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2112.00914v1
• Date: Thu, 2 Dec 2021 01:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 14:39:13.266293
• Title: HyperSPNs: Compact and Expressive Probabilistic Circuits
• Title（参考訳）: HyperSPNs:コンパクトで表現力のある確率回路
• Authors: Andy Shih and Dorsa Sadigh and Stefano Ermon
• Abstract要約: HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
• 参考スコア（独自算出の注目度）: 89.897635970366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic circuits (PCs) are a family of generative models which allows for the computation of exact likelihoods and marginals of its probability distributions. PCs are both expressive and tractable, and serve as popular choices for discrete density estimation tasks. However, large PCs are susceptible to overfitting, and only a few regularization strategies (e.g., dropout, weight-decay) have been explored. We propose HyperSPNs: a new paradigm of generating the mixture weights of large PCs using a small-scale neural network. Our framework can be viewed as a soft weight-sharing strategy, which combines the greater expressiveness of large models with the better generalization and memory-footprint properties of small models. We show the merits of our regularization strategy on two state-of-the-art PC families introduced in recent literature -- RAT-SPNs and EiNETs -- and demonstrate generalization improvements in both models on a suite of density estimation benchmarks in both discrete and continuous domains.
• Abstract（参考訳）: 確率回路(probabilistic circuits, pcs)は、確率分布の正確な可能性と限界の計算を可能にする生成モデルの一群である。 PCは表現力とトラクタブルであり、離散密度推定タスクの一般的な選択肢として機能する。 しかし、大きなPCは過度に適合する可能性があり、いくつかの正規化戦略(ドロップアウト、重量減少など)が研究されている。 小型ニューラルネットワークを用いた大規模PCの混合重み生成のための新しいパラダイムであるHyperSPNを提案する。 我々のフレームワークは、より優れた一般化と小型モデルのメモリフットプリント特性とを組み合わさった、ソフトウェイトシェアリング戦略と見なすことができる。 近年の文献で紹介された2つの最先端pcファミリー – rat-spns と einets -- における正規化戦略のメリットを示し,離散領域と連続領域の両方における密度推定ベンチマークスイート上で,両モデルにおける一般化改善を示す。

関連論文リスト

• Sum of Squares Circuits [8.323409122604893]
  確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。 負のパラメータによる減算混合を符号化する正方形PCは単調PCよりも指数関数的に表現可能であることを示す。 我々は、二乗PCと単調PCの両方よりも指数関数的に表現できる新しい種類のPCを定式化する。
  論文  参考訳（メタデータ） (2024-08-21T17:08:05Z)
• Probabilistic Neural Circuits [4.724177741282789]
  確率的ニューラルネットワーク(PNC)は、トラクタビリティと表現力の観点から、PCとニューラルネットのバランスを崩す。 PNCはベイジアンネットワークの深い混合と解釈できることを示す。
  論文  参考訳（メタデータ） (2024-03-10T15:25:49Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Tractable Regularization of Probabilistic Circuits [31.841838579553034]
  確率回路(PC)は確率的モデリングのための有望な道である。 我々は,PCのトラクタビリティを活かしたデータソフト化とエントロピー正規化という2つの直感的な手法を提案する。 両手法が多種多様なPCの一般化性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2021-06-04T05:11:13Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。