論文の概要: Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2004.06231v1
• Date: Mon, 13 Apr 2020 23:09:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:25:28.423693
• Title: Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits
• Title（参考訳）: Einsum Networks: トラクタブル確率回路の高速かつスケーラブルな学習
• Authors: Robert Peharz, Steven Lang, Antonio Vergari, Karl Stelzner, Alejandro Molina, Martin Trapp, Guy Van den Broeck, Kristian Kersting, Zoubin Ghahramani
• Abstract要約: 我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
• 参考スコア（独自算出の注目度）: 99.59941892183454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic circuits (PCs) are a promising avenue for probabilistic modeling, as they permit a wide range of exact and efficient inference routines. Recent ``deep-learning-style'' implementations of PCs strive for a better scalability, but are still difficult to train on real-world data, due to their sparsely connected computational graphs. In this paper, we propose Einsum Networks (EiNets), a novel implementation design for PCs, improving prior art in several regards. At their core, EiNets combine a large number of arithmetic operations in a single monolithic einsum-operation, leading to speedups and memory savings of up to two orders of magnitude, in comparison to previous implementations. As an algorithmic contribution, we show that the implementation of Expectation-Maximization (EM) can be simplified for PCs, by leveraging automatic differentiation. Furthermore, we demonstrate that EiNets scale well to datasets which were previously out of reach, such as SVHN and CelebA, and that they can be used as faithful generative image models.
• Abstract（参考訳）: 確率回路(PC)は、広範囲の正確かつ効率的な推論ルーチンを許すため、確率的モデリングのための有望な道である。 最近の 'Deep-learning-style'' 実装ではスケーラビリティの向上が図られているが,計算グラフが疎結合であることから,実際のデータのトレーニングは依然として困難である。 本稿では,PCのための新しい実装設計であるEinsum Networks (EiNets)を提案する。 einetsの中核は、単一のモノリシックなeinsum操作で大量の算術演算を組み合わせることで、以前の実装と比較して最大2桁の高速化とメモリ節約を実現している。 アルゴリズム的な貢献として,自動微分を利用して期待最大化(EM)の実装を単純化できることが示される。 さらに, SVHN や CelebA などの到達範囲外なデータセットに対して, EiNets が十分にスケール可能であること, 忠実な生成画像モデルとして使用できることを実証した。

関連論文リスト

• Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
  ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。 実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-04T13:27:22Z)
• Neural Network Approximators for Marginal MAP in Probabilistic Circuits [11.917134619219079]
  ニューラルネットワークを用いてPC内の(M)MAP推論を近似する手法を提案する。 新しい手法の2つの大きな利点は、自己教師型であり、ニューラルネットワークが学習された後、解を出力するのに線形時間しか必要としない点である。 いくつかのベンチマークデータセットに対する我々の新しいアプローチを評価し、競合する線形時間近似よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:15:06Z)
• Probabilistic Integral Circuits [11.112802758446344]
  連続LVを表す積分単位でPCを拡張する計算グラフの新しい言語を導入する。 実際には、PICを軽量なニューラルネットでパラメータ化して、難易度の高い階層的連続混合物を提供する。 これらのPIC近似PCは予測最大化やSGDによって学習されるPCを体系的に上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-25T20:38:18Z)
• Sparse Probabilistic Circuits via Pruning and Growing [30.777764474107663]
  確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 そこで本研究では,PCの構造の幅を生かした刈り込みと成長という2つの操作を提案する。 刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることが可能となる。
  論文  参考訳（メタデータ） (2022-11-22T19:54:52Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
  クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。 CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。 我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
  論文  参考訳（メタデータ） (2021-05-10T07:31:59Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。