論文の概要: Scaling Tractable Probabilistic Circuits: A Systems Perspective

• arxiv url: http://arxiv.org/abs/2406.00766v1
• Date: Sun, 2 Jun 2024 14:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 03:36:42.507781
• Title: Scaling Tractable Probabilistic Circuits: A Systems Perspective
• Title（参考訳）: トラクタブル確率回路のスケーリング:システムの観点から
• Authors: Anji Liu, Kareem Ahmed, Guy Van den Broeck,
• Abstract要約: PyJuiceは、いくつかの点で先行技術を改善するPCの一般的な実装設計である。 大規模PCのトレーニングでは、既存のシステムよりも1～2桁高速である。 PyJuiceは2～5倍のメモリを消費するので、より大きなモデルをトレーニングすることができます。
• 参考スコア（独自算出の注目度）: 36.528534612003504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic Circuits (PCs) are a general framework for tractable deep generative models, which support exact and efficient probabilistic inference on their learned distributions. Recent modeling and training advancements have enabled their application to complex real-world tasks. However, the time and memory inefficiency of existing PC implementations hinders further scaling up. This paper proposes PyJuice, a general GPU implementation design for PCs that improves prior art in several regards. Specifically, PyJuice is 1-2 orders of magnitude faster than existing systems (including very recent ones) at training large-scale PCs. Moreover, PyJuice consumes 2-5x less GPU memory, which enables us to train larger models. At the core of our system is a compilation process that converts a PC into a compact representation amenable to efficient block-based parallelization, which significantly reduces IO and makes it possible to leverage Tensor Cores available in modern GPUs. Empirically, PyJuice can be used to improve state-of-the-art PCs trained on image (e.g., ImageNet32) and language (e.g., WikiText, CommonGen) datasets. We further establish a new set of baselines on natural image and language datasets by benchmarking existing PC structures but with much larger sizes and more training epochs, with the hope of incentivizing future research. Code is available at https://github.com/Tractables/pyjuice.
• Abstract（参考訳）: 確率回路(PC)は、学習した分布に対する正確かつ効率的な確率的推論をサポートする、抽出可能な深層生成モデルのための一般的なフレームワークである。 最近のモデリングとトレーニングの進歩により、複雑な現実世界のタスクに応用できるようになった。 しかし、既存のPC実装の時間とメモリの非効率さは、さらなるスケールアップを妨げる。 本稿では,PC用GPU実装設計のPyJuiceを提案する。 具体的には、PyJuiceは、大規模PCのトレーニングにおいて、既存のシステム(非常に最近のものを含む)よりも1～2桁高速である。 さらに、PyJuiceは2～5倍のGPUメモリを消費するので、より大きなモデルをトレーニングすることができます。 システムの中心となるのは、PCを効率的なブロックベース並列化が可能なコンパクトな表現に変換するコンパイルプロセスであり、IOを大幅に削減し、最新のGPUで利用可能なTensor Coreを活用できるようにする。 PyJuiceは、イメージ(例: ImageNet32)と言語(例:WikiText、CommonGen)データセットでトレーニングされた最先端のPCを改善するために、実証的に使用することができる。 我々はさらに、既存のPC構造をベンチマークすることで、自然画像と言語データセットの新たなベースラインを確立し、さらに大きなサイズとトレーニングのエポックを生かし、将来の研究にインセンティブを与えることを期待している。 コードはhttps://github.com/Tractables/pyjuice.comから入手できる。

関連論文リスト

• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• Sparse Probabilistic Circuits via Pruning and Growing [30.777764474107663]
  確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 そこで本研究では,PCの構造の幅を生かした刈り込みと成長という2つの操作を提案する。 刈り込みと成長を交互に適用することにより、有意義な使用能力を高め、PC学習を大幅にスケールアップすることが可能となる。
  論文  参考訳（メタデータ） (2022-11-22T19:54:52Z)
• A modular software framework for the design and implementation of ptychography algorithms [55.41644538483948]
  我々は,Pychographyデータセットをシミュレートし,最先端の再構築アルゴリズムをテストすることを目的とした,新しいptychographyソフトウェアフレームワークであるSciComを紹介する。 その単純さにもかかわらず、ソフトウェアはPyTorchインターフェースによる高速化処理を利用する。 結果は合成データと実データの両方で示される。
  論文  参考訳（メタデータ） (2022-05-06T16:32:37Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Efficient Large-Scale Language Model Training on GPU Clusters [19.00915720435389]
  大規模な言語モデルは、様々なタスクに最先端の精度をもたらす。 メモリ容量は限られており、大きなモデルを単一のGPUに収めることは不可能である。 これらのモデルのトレーニングに必要な計算操作の数は、非現実的な長いトレーニング時間をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-04-09T16:43:11Z)
• HeAT -- a Distributed and GPU-accelerated Tensor Framework for Data Analytics [0.0]
  HeATは、大規模並列処理のための配列ベースの数値プログラミングフレームワークで、簡単に使えるNumPyライクなAPIがある。 HeATはPyTorchをノードローカルな熱心な実行エンジンとして使用し、MPIを介して任意の規模の大規模高性能コンピューティングシステムにワークロードを分散する。 同様のフレームワークと比較すると、HeATは最大2桁のスピードアップを達成する。
  論文  参考訳（メタデータ） (2020-07-27T13:33:17Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。