論文の概要: Scaling Up Probabilistic Circuits by Latent Variable Distillation

• arxiv url: http://arxiv.org/abs/2210.04398v2
• Date: Wed, 11 Dec 2024 07:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:52.170499
• Title: Scaling Up Probabilistic Circuits by Latent Variable Distillation
• Title（参考訳）: 遅延可変蒸留による確率回路のスケールアップ
• Authors: Anji Liu, Honghua Zhang, Guy Van den Broeck,
• Abstract要約: その結果, 潜水式蒸留法は, 潜水式蒸留法を使わずに大容量PCの性能を著しく向上させることがわかった。 特に、画像モデリングのベンチマークでは、PCは広く使われている深層生成モデルと競合する性能を達成している。
• 参考スコア（独自算出の注目度）: 36.60818788233396
• License:
• Abstract: Probabilistic Circuits (PCs) are a unified framework for tractable probabilistic models that support efficient computation of various probabilistic queries (e.g., marginal probabilities). One key challenge is to scale PCs to model large and high-dimensional real-world datasets: we observe that as the number of parameters in PCs increases, their performance immediately plateaus. This phenomenon suggests that the existing optimizers fail to exploit the full expressive power of large PCs. We propose to overcome such bottleneck by latent variable distillation: we leverage the less tractable but more expressive deep generative models to provide extra supervision over the latent variables of PCs. Specifically, we extract information from Transformer-based generative models to assign values to latent variables of PCs, providing guidance to PC optimizers. Experiments on both image and language modeling benchmarks (e.g., ImageNet and WikiText-2) show that latent variable distillation substantially boosts the performance of large PCs compared to their counterparts without latent variable distillation. In particular, on the image modeling benchmarks, PCs achieve competitive performance against some of the widely-used deep generative models, including variational autoencoders and flow-based models, opening up new avenues for tractable generative modeling. Our code can be found at https://github.com/UCLA-StarAI/LVD.
• Abstract（参考訳）: 確率回路(英: Probabilistic Circuits、PC)は、様々な確率的クエリ(例えば、限界確率)の効率的な計算をサポートする、トラクタブル確率モデルのための統一的なフレームワークである。 重要な課題の1つは、PCを大規模で高次元の現実世界のデータセットにスケールさせることである。 この現象は、既存のオプティマイザが大きなPCの完全な表現力を利用することができないことを示唆している。 我々は,PCの潜伏変数に対する余分な監督を提供するために,低トラクタブルで表現力に富んだ深層生成モデルを活用することを提案する。 具体的には、Transformerベースの生成モデルから情報を抽出し、PCの潜在変数に値を割り当て、PCオプティマイザへのガイダンスを提供する。 画像および言語モデリングベンチマーク(例えば ImageNet と WikiText-2)の実験では、潜伏変数の蒸留は潜伏変数の蒸留を行わないものに比べて大きなPCの性能を大幅に向上させることが示された。 特に、画像モデリングベンチマークにおいて、PCは、可変オートエンコーダやフローベースモデルなど、広く使われている深層生成モデルと競合し、トラクタブルな生成モデルのための新たな道を開く。 私たちのコードはhttps://github.com/UCLA-StarAI/LVD.comで確認できます。

関連論文リスト

• Simplifying CLIP: Unleashing the Power of Large-Scale Models on Consumer-level Computers [3.2492319522383717]
  Contrastive Language-Image Pre-Training (CLIP) はその優れたゼロショット性能と下流タスクへの優れた転送性のために注目を集めている。 しかし、そのような大規模モデルのトレーニングは通常、実際の計算とストレージを必要とするため、一般ユーザにとって消費者レベルのコンピュータでは障壁となる。
  論文  参考訳（メタデータ） (2024-11-22T08:17:46Z)
• Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits [30.663322946413285]
  我々は,PCの性能が教師モデルを上回ることを理論的,実証的に発見する。 特にImageNet32では、PCは4.06ビット/次元を実現しており、これは変分拡散モデルのわずか0.34である。
  論文  参考訳（メタデータ） (2023-02-16T04:52:46Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• Sparse Probabilistic Circuits via Pruning and Growing [30.777764474107663]
  確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 そこで本研究では,PCの構造の幅を生かした刈り込みと成長という2つの操作を提案する。 刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることが可能となる。
  論文  参考訳（メタデータ） (2022-11-22T19:54:52Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Tractable Regularization of Probabilistic Circuits [31.841838579553034]
  確率回路(PC)は確率的モデリングのための有望な道である。 我々は,PCのトラクタビリティを活かしたデータソフト化とエントロピー正規化という2つの直感的な手法を提案する。 両手法が多種多様なPCの一般化性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2021-06-04T05:11:13Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。