論文の概要: Pus$\mathbb{H}$: Concurrent Probabilistic Programming with Function Spaces

• arxiv url: http://arxiv.org/abs/2306.06528v1
• Date: Sat, 10 Jun 2023 21:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 18:24:25.054999
• Title: Pus$\mathbb{H}$: Concurrent Probabilistic Programming with Function Spaces
• Title（参考訳）: Pus$\mathbb{H}$:関数空間を持つ並行確率計画法
• Authors: Daniel Huang, Christian Cama\~no, Jonathan Tsegaye
• Abstract要約: 本稿では,関数空間上のベイズ推論を行うために,Pus$mathbbH$という確率型言語(PPL)のプロトタイプを導入する。 本稿では、ニューラルネットワーク(NN)として特定されたモデルと、メッセージパッシングにインスパイアされたプログラミングモデルを用いて、粒子のプロシージャとして特定された推論とをリンクする粒子に基づいて、Pus$mathbbH$のコア抽象化を記述する。
• 参考スコア（独自算出の注目度）: 0.966840768820136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a prototype probabilistic programming language (PPL) called Pus$\mathbb{H}$ for performing Bayesian inference on function spaces with a focus on Bayesian deep learning (BDL). We describe the core abstraction of Pus$\mathbb{H}$ based on particles that links models, specified as neural networks (NNs), with inference, specified as procedures on particles using a programming model inspired by message passing. Finally, we test Pus$\mathbb{H}$ on a variety of models and datasets used in scientific machine learning (SciML), a domain with natural function space inference problems, and we evaluate scaling of Pus$\mathbb{H}$ on single-node multi-GPU devices. Thus we explore the combination of probabilistic programming, NNs, and concurrency in the context of Bayesian inference on function spaces. The code can be found at https://github.com/lbai-lab/PusH.
• Abstract（参考訳）: ベイズ深層学習(bdl)に焦点をあてた関数空間上でベイズ推論を行うために、pus$\mathbb{h}$と呼ばれるプロトタイプ確率型プログラミング言語(ppl)を導入する。 本稿では,Pus$\mathbb{H}$のコア抽象化を,ニューラルネットワーク(NN)として特定されたモデルと,メッセージパッシングにインスパイアされたプログラミングモデルを用いて,粒子上のプロシージャとして規定された推論とをリンクする粒子に基づいて記述する。 最後に,Pus$\mathbb{H}$を,自然関数空間推論問題のある領域である科学機械学習(SciML)で使用するさまざまなモデルやデータセット上でテストし,単一ノードマルチGPUデバイス上でのPus$\mathbb{H}$のスケーリングを評価する。 そこで我々は,関数空間上のベイズ推論の文脈における確率的プログラミング,NN,並列性の組み合わせについて検討する。 コードはhttps://github.com/lbai-lab/pushにある。

関連論文リスト

• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Parareal Neural Networks Emulating a Parallel-in-time Algorithm [1.988145627448243]
  ディープニューラルネットワーク(DNN)が深まるにつれて、トレーニング時間が増加する。 本稿では,並列ニューラルネットワークを構築するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T02:03:39Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)
• Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
  我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。 我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
  論文  参考訳（メタデータ） (2020-04-10T14:26:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。