論文の概要: Scaling Up Probabilistic Circuits by Latent Variable Distillation
- arxiv url: http://arxiv.org/abs/2210.04398v2
- Date: Wed, 11 Dec 2024 07:58:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 13:59:52.170499
- Title: Scaling Up Probabilistic Circuits by Latent Variable Distillation
- Title（参考訳）: 遅延可変蒸留による確率回路のスケールアップ
- Authors: Anji Liu, Honghua Zhang, Guy Van den Broeck,
- Abstract要約: その結果, 潜水式蒸留法は, 潜水式蒸留法を使わずに大容量PCの性能を著しく向上させることがわかった。
特に、画像モデリングのベンチマークでは、PCは広く使われている深層生成モデルと競合する性能を達成している。
- 参考スコア（独自算出の注目度）: 36.60818788233396
- License:
- Abstract: Probabilistic Circuits (PCs) are a unified framework for tractable probabilistic models that support efficient computation of various probabilistic queries (e.g., marginal probabilities). One key challenge is to scale PCs to model large and high-dimensional real-world datasets: we observe that as the number of parameters in PCs increases, their performance immediately plateaus. This phenomenon suggests that the existing optimizers fail to exploit the full expressive power of large PCs. We propose to overcome such bottleneck by latent variable distillation: we leverage the less tractable but more expressive deep generative models to provide extra supervision over the latent variables of PCs. Specifically, we extract information from Transformer-based generative models to assign values to latent variables of PCs, providing guidance to PC optimizers. Experiments on both image and language modeling benchmarks (e.g., ImageNet and WikiText-2) show that latent variable distillation substantially boosts the performance of large PCs compared to their counterparts without latent variable distillation. In particular, on the image modeling benchmarks, PCs achieve competitive performance against some of the widely-used deep generative models, including variational autoencoders and flow-based models, opening up new avenues for tractable generative modeling. Our code can be found at https://github.com/UCLA-StarAI/LVD.
- Abstract（参考訳）: 確率回路(英: Probabilistic Circuits、PC)は、様々な確率的クエリ(例えば、限界確率)の効率的な計算をサポートする、トラクタブル確率モデルのための統一的なフレームワークである。
重要な課題の1つは、PCを大規模で高次元の現実世界のデータセットにスケールさせることである。
この現象は、既存のオプティマイザが大きなPCの完全な表現力を利用することができないことを示唆している。
我々は,PCの潜伏変数に対する余分な監督を提供するために,低トラクタブルで表現力に富んだ深層生成モデルを活用することを提案する。
具体的には、Transformerベースの生成モデルから情報を抽出し、PCの潜在変数に値を割り当て、PCオプティマイザへのガイダンスを提供する。
画像および言語モデリングベンチマーク(例えば ImageNet と WikiText-2)の実験では、潜伏変数の蒸留は潜伏変数の蒸留を行わないものに比べて大きなPCの性能を大幅に向上させることが示された。
特に、画像モデリングベンチマークにおいて、PCは、可変オートエンコーダやフローベースモデルなど、広く使われている深層生成モデルと競合し、トラクタブルな生成モデルのための新たな道を開く。
私たちのコードはhttps://github.com/UCLA-StarAI/LVD.comで確認できます。
関連論文リスト
- Simplifying CLIP: Unleashing the Power of Large-Scale Models on Consumer-level Computers [3.2492319522383717]
Contrastive Language-Image Pre-Training (CLIP) はその優れたゼロショット性能と下流タスクへの優れた転送性のために注目を集めている。
しかし、そのような大規模モデルのトレーニングは通常、実際の計算とストレージを必要とするため、一般ユーザにとって消費者レベルのコンピュータでは障壁となる。
論文 参考訳（メタデータ） (2024-11-22T08:17:46Z) - Sum of Squares Circuits [8.323409122604893]
確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。
負のパラメータによる減算混合を符号化する正方形PCは単調PCよりも指数関数的に表現可能であることを示す。
我々は、二乗PCと単調PCの両方よりも指数関数的に表現できる新しい種類のPCを定式化する。
論文 参考訳（メタデータ） (2024-08-21T17:08:05Z) - Understanding the Distillation Process from Deep Generative Models to
Tractable Probabilistic Circuits [30.663322946413285]
我々は,PCの性能が教師モデルを上回ることを理論的,実証的に発見する。
特にImageNet32では、PCは4.06ビット/次元を実現しており、これは変分拡散モデルのわずか0.34である。
論文 参考訳（メタデータ） (2023-02-16T04:52:46Z) - Sparse Probabilistic Circuits via Pruning and Growing [30.777764474107663]
確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。
そこで本研究では,PCの構造の幅を生かした刈り込みと成長という2つの操作を提案する。
刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることが可能となる。
論文 参考訳（メタデータ） (2022-11-22T19:54:52Z) - Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。
本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。
PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
論文 参考訳（メタデータ） (2022-03-04T11:47:20Z) - Learning Generative Vision Transformer with Energy-Based Latent Space
for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。
ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。
生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文 参考訳（メタデータ） (2021-12-27T06:04:33Z) - HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。
近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
論文 参考訳（メタデータ） (2021-12-02T01:24:43Z) - Probabilistic Generating Circuits [50.98473654244851]
効率的な表現のための確率的生成回路(PGC)を提案する。
PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。
我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
論文 参考訳（メタデータ） (2021-02-19T07:06:53Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳（メタデータ） (2020-04-13T23:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。