論文の概要: Mean-Field Assisted Deep Boltzmann Learning with Probabilistic Computers
- arxiv url: http://arxiv.org/abs/2401.01996v1
- Date: Wed, 3 Jan 2024 22:19:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 16:05:37.190100
- Title: Mean-Field Assisted Deep Boltzmann Learning with Probabilistic Computers
- Title（参考訳）: 確率コンピュータを用いたDeep Boltzmann学習を支援する平均フィールド
- Authors: Shuvro Chowdhury, Shaila Niazi, Kerem Y. Camsari
- Abstract要約: 深部および非制限のボルツマンマシンは、毎秒数十億のマルコフチェインモンテカルロサンプルを生成するpコンピュータを用いて訓練可能であることを示す。
pコンピュータアーキテクチャの独自のFPGAエミュレーションでは、毎秒最大45億フリップがかかる。
我々のアルゴリズムは、他のスケーラブルなIsingマシンで使用することができ、その変種は、以前は難易度と思われていたBMの訓練に使用することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their appeal as physics-inspired, energy-based and generative nature,
general Boltzmann Machines (BM) are considered intractable to train. This
belief led to simplified models of BMs with restricted intralayer connections
or layer-by-layer training of deep BMs. Recent developments in domain-specific
hardware -- specifically probabilistic computers (p-computer) with
probabilistic bits (p-bit) -- may change established wisdom on the tractability
of deep BMs. In this paper, we show that deep and unrestricted BMs can be
trained using p-computers generating hundreds of billions of Markov Chain Monte
Carlo (MCMC) samples per second, on sparse networks developed originally for
use in D-Wave's annealers. To maximize the efficiency of learning the
p-computer, we introduce two families of Mean-Field Theory assisted learning
algorithms, or xMFTs (x = Naive and Hierarchical). The xMFTs are used to
estimate the averages and correlations during the positive phase of the
contrastive divergence (CD) algorithm and our custom-designed p-computer is
used to estimate the averages and correlations in the negative phase. A custom
Field-Programmable-Gate Array (FPGA) emulation of the p-computer architecture
takes up to 45 billion flips per second, allowing the implementation of CD-$n$
where $n$ can be of the order of millions, unlike RBMs where $n$ is typically 1
or 2. Experiments on the full MNIST dataset with the combined algorithm show
that the positive phase can be efficiently computed by xMFTs without much
degradation when the negative phase is computed by the p-computer. Our
algorithm can be used in other scalable Ising machines and its variants can be
used to train BMs, previously thought to be intractable.
- Abstract（参考訳）: 物理学にインスパイアされたエネルギーベースで生成的な性質であるにもかかわらず、一般のボルツマン機械(BM)は訓練に難航していると考えられている。
この信念により、深層bmsの層間接続や層間訓練が制限されたbmsの簡易なモデルが導かれた。
ドメイン固有のハードウェア、特に確率的ビット(pビット)を持つ確率的コンピュータ(pコンピュータ)の最近の発展は、深いBMのトラクタビリティに関する確立した知恵を変える可能性がある。
本稿では,d-waveのアニーラーで使用するために開発されたスパースネットワーク上で,数十億のマルコフ連鎖モンテカルロ(mcmc)サンプルを毎秒生成するp-コンピュータを用いて,深い制限のないbmsを訓練できることを示す。
p-コンピュータを学習する効率を最大化するために、平均場理論支援学習アルゴリズム(x = naive and hierarchy)の2つのファミリーを導入する。
このxMFTは, 差分法(CD)アルゴリズムの正相における平均と相関を推定するために用いられ, 我々のカスタム設計したp-コンピュータを用いて負相における平均と相関を推定する。
p-コンピュータアーキテクチャのカスタムフィールド-プログラマブル-ゲイトアレイ(FPGA)エミュレーションは毎秒最大45億フリップを要し、CD-$n$の実装が可能で、$n$が通常1または2のRBMとは異なり、$n$は数百万のオーダーである。
組み合わせアルゴリズムを用いた全mnistデータセットの実験により、負の位相をp-コンピュータで計算した場合、負の位相をxmftで効率的に計算できることを示した。
我々のアルゴリズムは、他のスケーラブルイジングマシンで使用することができ、その変種は、以前難解だったbmsのトレーニングに使用できる。
関連論文リスト
- Sample-efficient Learning of Infinite-horizon Average-reward MDPs with General Function Approximation [53.17668583030862]
一般関数近似の文脈において,無限水平平均逆マルコフ決定過程(AMDP)について検討する。
最適化最適化(LOOP)と呼ばれる新しいアルゴリズムフレームワークを提案する。
我々は LOOP がサブ線形 $tildemathcalO(mathrmpoly(d, mathrmsp(V*)) sqrtTbeta )$ regret を達成することを示す。
論文 参考訳（メタデータ） (2024-04-19T06:24:22Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - CMOS + stochastic nanomagnets: heterogeneous computers for probabilistic
inference and learning [0.16365624921211983]
相補的金属酸化物半導体(CMOS)トランジスタを新規ナノ技術(X)で強化するムーアの法則はますます重要になっている。
重要な問題の1つのクラスは、確率的機械学習、最適化、量子シミュレーションで使用されるサンプリングベースのモンテカルロアルゴリズムである。
ここでは、磁気トンネル接合(sMTJ)に基づく確率ビット(pビット)とフィールドプログラマブルゲートアレイ(FPGA)を組み合わせて、エネルギー効率の良いCMOS + Xプロトタイプを作成する。
論文 参考訳（メタデータ） (2023-04-12T16:18:12Z) - Non-Generative Energy Based Models [3.1447898427012473]
エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。
我々は、非生成的トレーニングアプローチ、非生成的EMM(NG-EBM)を提案する。
我々のNG-EBMトレーニング戦略は、校正、アウト・オブ・ディストリビューション検出、対向抵抗におけるEMMの利点の多くを保っていることを示す。
論文 参考訳（メタデータ） (2023-04-03T18:47:37Z) - Training Deep Boltzmann Networks with Sparse Ising Machines [5.048818298702389]
深層生成AIモデルをトレーニングすることにより,確率ビット(pビット)ベースのIsingマシンのための新しいアプリケーションドメインを示す。
スパース、非同期、および非常に並列なIsingマシンを使用して、ハイブリッド確率-古典計算設定でディープボルツマンネットワークを訓練する。
論文 参考訳（メタデータ） (2023-03-19T18:10:15Z) - Memristive Stochastic Computing for Deep Learning Parameter Optimization [1.6344851071810071]
コンピューティング(sc)は、ビットストリームとデジタルロジックを用いた様々な演算処理の低コストかつ低消費電力化を可能にするコンピューティングパラダイムである。
40nmの補完金属酸化物半導体(CMOS)プロセスを使用することで、拡張可能なアーキテクチャは1.55mm$2$を占め、文字認識タスクのために訓練されている間、畳み込みニューラルネットワーク(CNN)のパラメータを最適化する際に約167$mu$Wを消費します。
論文 参考訳（メタデータ） (2021-03-11T07:10:32Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z) - Preparation of excited states for nuclear dynamics on a quantum computer [117.44028458220427]
量子コンピュータ上で励起状態を作成するための2つの異なる方法を研究する。
シミュレーションおよび実量子デバイス上でこれらの手法をベンチマークする。
これらの結果から,フォールトトレラントデバイスに優れたスケーリングを実現するために設計された量子技術が,接続性やゲート忠実性に制限されたデバイスに実用的なメリットをもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2020-09-28T17:21:25Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳（メタデータ） (2020-04-13T23:09:15Z) - A High-Performance Implementation of Bayesian Matrix Factorization with
Limited Communication [10.639704288188767]
行列分解アルゴリズムは予測の不確実性を定量化し、過度な適合を避けることができる。
計算コストが禁じられているため、大規模なデータには広く使われていない。
スケーラビリティに対する両アプローチの最先端が組み合わさることを示します。
論文 参考訳（メタデータ） (2020-04-06T11:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。