論文の概要: Sum of Squares Circuits

• arxiv url: http://arxiv.org/abs/2408.11778v1
• Date: Wed, 21 Aug 2024 17:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 16:08:22.559263
• Title: Sum of Squares Circuits
• Title（参考訳）: 正方形回路のまとめ
• Authors: Lorenzo Loconte, Stefan Mengel, Antonio Vergari,
• Abstract要約: 確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。 負のパラメータによる減算混合を符号化する正方形PCは単調PCよりも指数関数的に表現可能であることを示す。 我々は、二乗PCと単調PCの両方よりも指数関数的に表現できる新しい種類のPCを定式化する。
• 参考スコア（独自算出の注目度）: 8.323409122604893
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Designing expressive generative models that support exact and efficient inference is a core question in probabilistic ML. Probabilistic circuits (PCs) offer a framework where this tractability-vs-expressiveness trade-off can be analyzed theoretically. Recently, squared PCs encoding subtractive mixtures via negative parameters have emerged as tractable models that can be exponentially more expressive than monotonic PCs, i.e., PCs with positive parameters only. In this paper, we provide a more precise theoretical characterization of the expressiveness relationships among these models. First, we prove that squared PCs can be less expressive than monotonic ones. Second, we formalize a novel class of PCs -- sum of squares PCs -- that can be exponentially more expressive than both squared and monotonic PCs. Around sum of squares PCs, we build an expressiveness hierarchy that allows us to precisely unify and separate different tractable model classes such as Born Machines and PSD models, and other recently introduced tractable probabilistic models by using complex parameters. Finally, we empirically show the effectiveness of sum of squares circuits in performing distribution estimation.
• Abstract（参考訳）: 正確かつ効率的な推論をサポートする表現的生成モデルの設計は確率的MLの中核的な問題である。 確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。 近年, 負パラメータによる減算混合を符号化する2乗PCは, モノトニックPCよりも指数関数的に表現可能なトラクタブルモデルとして出現している。 本稿では,これらのモデル間の表現性関係のより正確な理論的特徴について述べる。 まず、正方形PCが単調なPCよりも表現力が少ないことを証明する。 第二に、二乗PCと単調PCより指数関数的に表現しやすい新しい種類のPCを定式化する。 四角形PCの総和にあたり、ボルンマシンやPSDモデルなどの異なるトラクタブルモデルクラスを正確に統一・分離できる表現性階層を構築し、さらに最近、複雑なパラメータを用いてトラクタブル確率モデルを導入した。 最後に,分布推定における正方形回路の和の有効性を実証的に示す。

関連論文リスト

• Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
  最適公正表現はいくつかの有用な構造特性を持つことを示す。 そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
  論文  参考訳（メタデータ） (2024-09-26T08:46:48Z)
• Probabilistic Circuits with Constraints via Convex Optimization [2.6436521007616114]
  提案手法は,PCと制約の両方を入力とし,制約を満たす新しいPCを出力する。 実証的な評価は、制約とPCの組み合わせには複数のユースケースが存在することを示している。
  論文  参考訳（メタデータ） (2024-03-19T19:55:38Z)
• Probabilistic Integral Circuits [11.112802758446344]
  連続LVを表す積分単位でPCを拡張する計算グラフの新しい言語を導入する。 実際には、PICを軽量なニューラルネットでパラメータ化して、難易度の高い階層的連続混合物を提供する。 これらのPIC近似PCは予測最大化やSGDによって学習されるPCを体系的に上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-25T20:38:18Z)
• Continuous Mixtures of Tractable Probabilistic Models [10.667104977730304]
  変分オートエンコーダのような連続潜伏空間に基づく確率モデルは、非可算混合モデルとして理解することができる。 確率回路(PC)は階層的な離散混合モデルとして理解することができる。 本稿では,少ない潜在次元のトラクタブルモデルの連続混合というハイブリッドアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-09-21T18:18:32Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• PSD Representations for Effective Probability Models [117.35298398434628]
  最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。 我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。 本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
  論文  参考訳（メタデータ） (2021-06-30T15:13:39Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。