論文の概要: Push: Concurrent Probabilistic Programming for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2306.06528v2
• Date: Fri, 29 Sep 2023 22:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 14:12:49.328219
• Title: Push: Concurrent Probabilistic Programming for Bayesian Deep Learning
• Title（参考訳）: push: ベイズ深層学習のための同時確率プログラミング
• Authors: Daniel Huang, Chris Cama\~no, Jonathan Tsegaye, Jonathan Austin Gale
• Abstract要約: Pushはベイズ深層学習(BDL)に確率的プログラミングアプローチを取り入れたライブラリである ニューラルネットワーク(NN)モデルのためのマルチGPUハードウェア上で,BDL推論アルゴリズムの同時実行を可能にする。 視覚および科学機械学習(SciML)タスクにおいて,単一ノードマルチGPUデバイス上での粒子のスケーリング挙動を評価する。
• 参考スコア（独自算出の注目度）: 0.716879432974126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a library called Push that takes a probabilistic programming approach to Bayesian deep learning (BDL). This library enables concurrent execution of BDL inference algorithms on multi-GPU hardware for neural network (NN) models. To accomplish this, Push introduces an abstraction that represents an input NN as a particle. Push enables easy creation of particles so that an input NN can be replicated and particles can communicate asynchronously so that a variety of parameter updates can be expressed, including common BDL algorithms. Our hope is that Push lowers the barrier to experimenting with BDL by streamlining the scaling of particles across GPUs. We evaluate the scaling behavior of particles on single-node multi-GPU devices on vision and scientific machine learning (SciML) tasks.
• Abstract（参考訳）: 本稿では,ベイズ深層学習(BDL)に確率的プログラミングアプローチを取り入れたPushというライブラリを紹介する。 このライブラリは、ニューラルネットワーク(NN)モデルのためのマルチGPUハードウェア上で、BDL推論アルゴリズムの同時実行を可能にする。 これを達成するためにpushは、入力nnを粒子として表現する抽象化を導入している。 pushは、入力nnを複製し、粒子が非同期に通信できるように簡単にパーティクルの作成を可能にし、一般的なbdlアルゴリズムを含む様々なパラメータ更新を表現できるようにします。 私たちの希望は、pushはgpu間の粒子のスケーリングを合理化し、bdlの実験の障壁を下げることです。 視覚および科学機械学習(SciML)タスクにおける単一ノードマルチGPUデバイス上での粒子のスケーリング挙動を評価する。

関連論文リスト

• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)
• Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
  我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。 我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
  論文  参考訳（メタデータ） (2020-04-10T14:26:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。