論文の概要: Sparse Probabilistic Circuits via Pruning and Growing

• arxiv url: http://arxiv.org/abs/2211.12551v1
• Date: Tue, 22 Nov 2022 19:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:02:26.870610
• Title: Sparse Probabilistic Circuits via Pruning and Growing
• Title（参考訳）: 刈り取りと成長によるスパース確率回路
• Authors: Meihua Dang, Anji Liu, Guy Van den Broeck
• Abstract要約: 確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 そこで本研究では,PCの構造の幅を生かした刈り込みと成長という2つの操作を提案する。 刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることが可能となる。
• 参考スコア（独自算出の注目度）: 30.777764474107663
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Probabilistic circuits (PCs) are a tractable representation of probability distributions allowing for exact and efficient computation of likelihoods and marginals. There has been significant recent progress on improving the scale and expressiveness of PCs. However, PC training performance plateaus as model size increases. We discover that most capacity in existing large PC structures is wasted: fully-connected parameter layers are only sparsely used. We propose two operations: pruning and growing, that exploit the sparsity of PC structures. Specifically, the pruning operation removes unimportant sub-networks of the PC for model compression and comes with theoretical guarantees. The growing operation increases model capacity by increasing the size of the latent space. By alternatingly applying pruning and growing, we increase the capacity that is meaningfully used, allowing us to significantly scale up PC learning. Empirically, our learner achieves state-of-the-art likelihoods on MNIST-family image datasets and on Penn Tree Bank language data compared to other PC learners and less tractable deep generative models such as flow-based models and variational autoencoders (VAEs).
• Abstract（参考訳）: 確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 近年,PCのスケールと表現性の向上が顕著に進んでいる。 しかし,PCのトレーニング性能はモデルサイズの増加とともに向上する。 既存の大規模PC構造におけるほとんどの容量は無駄であり、完全に接続されたパラメータ層はわずかにしか使われていない。 我々は,pc構造のスパース性を活用した刈り取りと成長の2つの操作を提案する。 具体的には、プルーニング操作はモデル圧縮のためにPCの重要でないサブネットワークを除去し、理論的保証を与える。 成長操作は潜在空間の大きさを増加させることでモデル容量を増加させる。 刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることができる。 実験により,本学習者は,他のPC学習者と比較して,MNIST系画像データセットやPenn Tree Bank言語データについて,フローベースモデルや変分オートエンコーダ(VAE)のような,難解な深層生成モデルを用いて,最先端の可能性が得られた。

関連論文リスト

• Scaling Tractable Probabilistic Circuits: A Systems Perspective [36.528534612003504]
  PyJuiceは、いくつかの点で先行技術を改善するPCの一般的な実装設計である。 大規模PCのトレーニングでは、既存のシステムよりも1～2桁高速である。 PyJuiceは2～5倍のメモリを消費するので、より大きなモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2024-06-02T14:57:00Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits [30.663322946413285]
  我々は,PCの性能が教師モデルを上回ることを理論的,実証的に発見する。 特にImageNet32では、PCは4.06ビット/次元を実現しており、これは変分拡散モデルのわずか0.34である。
  論文  参考訳（メタデータ） (2023-02-16T04:52:46Z)
• Scaling Up Probabilistic Circuits by Latent Variable Distillation [29.83240905570575]
  PCにおけるパラメータの数が増加するにつれて、その性能はすぐに低下する。 我々は、PCの潜伏変数に対する余分な監督を提供するために、あまり扱いにくいが表現力に富んだ深層生成モデルを活用している。 特に、画像モデリングのベンチマークでは、PCは広く使われている深層生成モデルと競合する性能を達成している。
  論文  参考訳（メタデータ） (2022-10-10T02:07:32Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
  極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。 本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
  論文  参考訳（メタデータ） (2021-10-08T04:24:51Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。