論文の概要: Probabilistic Integral Circuits

• arxiv url: http://arxiv.org/abs/2310.16986v1
• Date: Wed, 25 Oct 2023 20:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:24:41.707707
• Title: Probabilistic Integral Circuits
• Title（参考訳）: 確率積分回路
• Authors: Gennaro Gala, Cassio de Campos, Robert Peharz, Antonio Vergari, Erik Quaeghebeur
• Abstract要約: 連続LVを表す積分単位でPCを拡張する計算グラフの新しい言語を導入する。 実際には、PICを軽量なニューラルネットでパラメータ化して、難易度の高い階層的連続混合物を提供する。 これらのPIC近似PCは予測最大化やSGDによって学習されるPCを体系的に上回ることを示す。
• 参考スコア（独自算出の注目度）: 11.112802758446344
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continuous latent variables (LVs) are a key ingredient of many generative models, as they allow modelling expressive mixtures with an uncountable number of components. In contrast, probabilistic circuits (PCs) are hierarchical discrete mixtures represented as computational graphs composed of input, sum and product units. Unlike continuous LV models, PCs provide tractable inference but are limited to discrete LVs with categorical (i.e. unordered) states. We bridge these model classes by introducing probabilistic integral circuits (PICs), a new language of computational graphs that extends PCs with integral units representing continuous LVs. In the first place, PICs are symbolic computational graphs and are fully tractable in simple cases where analytical integration is possible. In practice, we parameterise PICs with light-weight neural nets delivering an intractable hierarchical continuous mixture that can be approximated arbitrarily well with large PCs using numerical quadrature. On several distribution estimation benchmarks, we show that such PIC-approximating PCs systematically outperform PCs commonly learned via expectation-maximization or SGD.
• Abstract（参考訳）: 連続的潜在変数 (continuous latent variable, lvs) は多くの生成モデルの主要な要素であり、非可算個の成分とのモデル表現混合を可能にする。 対照的に、確率回路(PC)は、入力、和、積単位からなる計算グラフとして表される階層的な離散混合である。 連続LVモデルとは異なり、PCは抽出可能な推論を提供するが、分類的(非順序)な状態を持つ離散LVに限定される。 確率積分回路(PIC)はPCを連続LVを表す積分単位で拡張する計算グラフの新しい言語である。 第一に、picは象徴的な計算グラフであり、解析的統合が可能な単純なケースでは完全に扱いやすい。 実際には,大規模pcでは数値二次数を用いて任意に近似できる,難解な階層的連続混合を実現する軽量ニューラルネットワークを用いて画像のパラメータ化を行う。 いくつかの分布推定ベンチマークにおいて、このようなPIC近似PCは予測最大化やSGDによって学習されるPCより体系的に優れていることを示す。

関連論文リスト

• Sum of Squares Circuits [8.323409122604893]
  確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。 負のパラメータによる減算混合を符号化する正方形PCは単調PCよりも指数関数的に表現可能であることを示す。 我々は、二乗PCと単調PCの両方よりも指数関数的に表現できる新しい種類のPCを定式化する。
  論文  参考訳（メタデータ） (2024-08-21T17:08:05Z)
• Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits [5.969243233796684]
  確率積分回路(PIC)は連続潜伏変数(LV)を定義する記号計算グラフである PICは、LVを解析的に積分できる場合、そうでなければ、トラクタブル確率回路(PC)によって近似できる。 本稿では、任意の可変分解からDAG形PICを構築するパイプライン、テンソル化回路アーキテクチャを用いたPICのトレーニング手順、神経機能共有技術を提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:30:17Z)
• Continuous Mixtures of Tractable Probabilistic Models [10.667104977730304]
  変分オートエンコーダのような連続潜伏空間に基づく確率モデルは、非可算混合モデルとして理解することができる。 確率回路(PC)は階層的な離散混合モデルとして理解することができる。 本稿では,少ない潜在次元のトラクタブルモデルの連続混合というハイブリッドアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-09-21T18:18:32Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。