論文の概要: Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits

• arxiv url: http://arxiv.org/abs/2406.06494v1
• Date: Mon, 10 Jun 2024 17:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:49:35.592749
• Title: Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
• Title（参考訳）: 確率積分回路としての連続潜時可変モデルのスケーリング
• Authors: Gennaro Gala, Cassio de Campos, Antonio Vergari, Erik Quaeghebeur,
• Abstract要約: 確率積分回路(PIC)は連続潜伏変数(LV)を定義する記号計算グラフである PICは、LVを解析的に積分できる場合、そうでなければ、トラクタブル確率回路(PC)によって近似できる。 本稿では、任意の可変分解からDAG形PICを構築するパイプライン、テンソル化回路アーキテクチャを用いたPICのトレーニング手順、神経機能共有技術を提案する。
• 参考スコア（独自算出の注目度）: 5.969243233796684
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Probabilistic integral circuits (PICs) have been recently introduced as probabilistic models enjoying the key ingredient behind expressive generative models: continuous latent variables (LVs). PICs are symbolic computational graphs defining continuous LV models as hierarchies of functions that are summed and multiplied together, or integrated over some LVs. They are tractable if LVs can be analytically integrated out, otherwise they can be approximated by tractable probabilistic circuits (PC) encoding a hierarchical numerical quadrature process, called QPCs. So far, only tree-shaped PICs have been explored, and training them via numerical quadrature requires memory-intensive processing at scale. In this paper, we address these issues, and present: (i) a pipeline for building DAG-shaped PICs out of arbitrary variable decompositions, (ii) a procedure for training PICs using tensorized circuit architectures, and (iii) neural functional sharing techniques to allow scalable training. In extensive experiments, we showcase the effectiveness of functional sharing and the superiority of QPCs over traditional PCs.
• Abstract（参考訳）: 確率積分回路 (PICs) は, 連続潜伏変数 (LVs) の表現的生成モデルの背後にある重要な要素を享受する確率論的モデルとして最近導入された。 PICは連続LVモデルを定義するシンボリックな計算グラフであり、それらをまとめて乗算したり、いくつかのLV上で積分したりする関数の階層として定義する。 それらは、LVを解析的に積分できる場合、そうでなければ、QPCと呼ばれる階層的な数値二次過程を符号化するトラクタブル確率回路(PC)によって近似することができる。 これまでのところ、木形のPICのみを探索し、数値的な四分法でそれらを訓練するには、大規模にメモリ集約的な処理が必要である。 本稿では,これらの課題に対処し,現在に至る。 一 任意の可変分解からDAG状のPICを構築するためのパイプライン 二 テンソル化回路アーキテクチャを用いたPICの訓練方法、及び 3) スケーラブルなトレーニングを可能にする神経機能共有技術。 広汎な実験では、従来のPCよりも機能的共有とQPCの優位性を示す。

関連論文リスト

• Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
  本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。 我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
  論文  参考訳（メタデータ） (2024-09-15T22:44:09Z)
• Probabilistic Integral Circuits [11.112802758446344]
  連続LVを表す積分単位でPCを拡張する計算グラフの新しい言語を導入する。 実際には、PICを軽量なニューラルネットでパラメータ化して、難易度の高い階層的連続混合物を提供する。 これらのPIC近似PCは予測最大化やSGDによって学習されるPCを体系的に上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-25T20:38:18Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Protocols for Trainable and Differentiable Quantum Generative Modelling [21.24186888129542]
  微分可能量子回路(DQC)としての確率分布の学習手法を提案する。 我々はDQCベースのモデルのトレーニングを行い、そこでデータは位相特徴写像で潜在空間にエンコードされ、次に変動量子回路が続く。 これにより、シングルショットの読み出しを使ってパラメタライズドディストリビューションからの高速サンプリングが可能になる。
  論文  参考訳（メタデータ） (2022-02-16T18:55:48Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。