論文の概要: Sum-Product-Attention Networks: Leveraging Self-Attention in Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2109.06587v1
• Date: Tue, 14 Sep 2021 11:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:32:26.942836
• Title: Sum-Product-Attention Networks: Leveraging Self-Attention in Probabilistic Circuits
• Title（参考訳）: sum-product-attention network : 確率回路における自己アテンションの活用
• Authors: Zhongjie Yu, Devendra Singh Dhami, Kristian Kersting
• Abstract要約: 本稿では,確率回路と変換器を統合する新しい生成モデルであるSum-Product-Attention Networks (SPAN)を紹介する。 SPANは自己アテンションを用いて確率回路の最も関連性の高い部分、すなわち和積ネットワークを選択し、基礎となる和積ネットワークのモデリング能力を改善する。 実験により、SPANは様々なベンチマークデータセット上で、最先端の確率的生成モデルよりも優れており、効率的な生成画像モデルであることが示された。
• 参考スコア（独自算出の注目度）: 20.319616691247827
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Probabilistic circuits (PCs) have become the de-facto standard for learning and inference in probabilistic modeling. We introduce Sum-Product-Attention Networks (SPAN), a new generative model that integrates probabilistic circuits with Transformers. SPAN uses self-attention to select the most relevant parts of a probabilistic circuit, here sum-product networks, to improve the modeling capability of the underlying sum-product network. We show that while modeling, SPAN focuses on a specific set of independent assumptions in every product layer of the sum-product network. Our empirical evaluations show that SPAN outperforms state-of-the-art probabilistic generative models on various benchmark data sets as well is an efficient generative image model.
• Abstract（参考訳）: 確率回路(PC)は確率的モデリングにおける学習と推論のデファクトスタンダードとなっている。 本稿では,確率回路と変換器を統合する新しい生成モデルであるSum-Product-Attention Networks (SPAN)を紹介する。 SPANは自己アテンションを用いて確率回路の最も関連性の高い部分、すなわち和積ネットワークを選択し、基礎となる和積ネットワークのモデリング能力を改善する。 モデリング中、SPANは、総生産ネットワークのすべての製品層において、独立した仮定の特定のセットに焦点を当てている。 実験により、SPANは様々なベンチマークデータセット上で、最先端の確率的生成モデルよりも優れており、効率的な生成画像モデルであることが示された。

関連論文リスト

• Simplifying Complex Observation Models in Continuous POMDP Planning with Probabilistic Guarantees and Practice [9.444784653236157]
  我々は,簡易観測モデルを計画に用いた場合,どのような意味があるのかという問題に対処する。 我々の主な貢献は、単純化されたモデルの統計的全変動距離に基づく新しい確率的境界である。 計算はオフラインとオンラインに分かれることが可能で、計画中にコストのかかるモデルにアクセスすることなく、正式な保証に到達します。
  論文  参考訳（メタデータ） (2023-11-13T20:55:02Z)
• A Generative Approach for Production-Aware Industrial Network Traffic Modeling [70.46446906513677]
  ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。 我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。 可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
  論文  参考訳（メタデータ） (2022-11-11T09:46:58Z)
• PSD Representations for Effective Probability Models [117.35298398434628]
  最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。 我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。 本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
  論文  参考訳（メタデータ） (2021-06-30T15:13:39Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• SPPL: Probabilistic Programming with Fast Exact Symbolic Inference [2.371061885439857]
  Sum-Product Probabilistic Language (SPPL)は、幅広い確率的推論クエリに対して正確なソリューションを提供する。 SPPLは確率的プログラムを、新しい記号表現と関連する意味領域である要約生成表現に変換する。 モジュールアーキテクチャでSPPLのプロトタイプを実装し,システム対象のベンチマークで評価する。
  論文  参考訳（メタデータ） (2020-10-07T15:42:37Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Sum-product networks: A survey [0.0]
  和積ネットワーク(英: sum-product network、SPN)は、根付き非巡回有向グラフに基づく確率モデルである。 本稿では、SPNの定義、データからの推論と学習のための主要なアルゴリズム、メインアプリケーション、ソフトウェアライブラリの簡単なレビュー、関連するモデルとの比較などについて調査する。
  論文  参考訳（メタデータ） (2020-04-02T17:46:29Z)
• Tensor Networks for Probabilistic Sequence Modeling [7.846449972735859]
  シーケンスデータの確率的モデリングには,一様行列積状態(u-MPS)モデルを用いる。 次に、訓練されたu-MPSに対して、様々な条件分布から効率的にサンプリングできる新しい生成アルゴリズムを提案する。 合成テキストデータと実テキストデータを用いたシーケンスモデリング実験は、U-MPSが様々なベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-02T17:16:05Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。