論文の概要: Training Deep Boltzmann Networks with Sparse Ising Machines

• arxiv url: http://arxiv.org/abs/2303.10728v2
• Date: Tue, 23 Jan 2024 23:31:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 18:06:27.391059
• Title: Training Deep Boltzmann Networks with Sparse Ising Machines
• Title（参考訳）: Sparse Ising Machinesを用いたDeep Boltzmann Networksのトレーニング
• Authors: Shaila Niazi, Navid Anjum Aadit, Masoud Mohseni, Shuvro Chowdhury, Yao Qin, and Kerem Y. Camsari
• Abstract要約: 深層生成AIモデルをトレーニングすることにより,確率ビット(pビット)ベースのIsingマシンのための新しいアプリケーションドメインを示す。 スパース、非同期、および非常に並列なIsingマシンを使用して、ハイブリッド確率-古典計算設定でディープボルツマンネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 5.048818298702389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The slowing down of Moore's law has driven the development of unconventional computing paradigms, such as specialized Ising machines tailored to solve combinatorial optimization problems. In this paper, we show a new application domain for probabilistic bit (p-bit) based Ising machines by training deep generative AI models with them. Using sparse, asynchronous, and massively parallel Ising machines we train deep Boltzmann networks in a hybrid probabilistic-classical computing setup. We use the full MNIST and Fashion MNIST (FMNIST) dataset without any downsampling and a reduced version of CIFAR-10 dataset in hardware-aware network topologies implemented in moderately sized Field Programmable Gate Arrays (FPGA). For MNIST, our machine using only 4,264 nodes (p-bits) and about 30,000 parameters achieves the same classification accuracy (90%) as an optimized software-based restricted Boltzmann Machine (RBM) with approximately 3.25 million parameters. Similar results follow for FMNIST and CIFAR-10. Additionally, the sparse deep Boltzmann network can generate new handwritten digits and fashion products, a task the 3.25 million parameter RBM fails at despite achieving the same accuracy. Our hybrid computer takes a measured 50 to 64 billion probabilistic flips per second, which is at least an order of magnitude faster than superficially similar Graphics and Tensor Processing Unit (GPU/TPU) based implementations. The massively parallel architecture can comfortably perform the contrastive divergence algorithm (CD-n) with up to n = 10 million sweeps per update, beyond the capabilities of existing software implementations. These results demonstrate the potential of using Ising machines for traditionally hard-to-train deep generative Boltzmann networks, with further possible improvement in nanodevice-based realizations.
• Abstract（参考訳）: ムーアの法則の減速は、組合せ最適化問題を解くのに適した特別なIsingマシンのような非伝統的な計算パラダイムの開発を促した。 本稿では,確率ビット(pビット)ベースのIsingマシンに対して,深層生成AIモデルをトレーニングすることで,新しいアプリケーション領域を提案する。 スパース、非同期、および非常に並列なIsingマシンを使用して、ハイブリッド確率-古典計算設定でディープボルツマンネットワークを訓練する。 モデムサイズのフィールドプログラマブルゲートアレイ (fpga) で実装されたハードウェア対応ネットワークトポロジでは,完全なmnist と fashion mnist (fmnist) データセットをダウンサンプリングなしで使用し,cifar-10 データセットの縮小版を使用する。 MNISTでは4,264ノード(p-bits)と約30,000パラメータしか使用せず、最適化されたソフトウェアベース限定ボルツマンマシン(RBM)と同じ分類精度(90%)を達成する。 FMNISTとCIFAR-10も同様の結果である。 さらに、疎密なディープボルツマンネットワークは、新しい手書きのデジットやファッション製品を生成することができる。 私たちのハイブリッドコンピュータは、毎秒50億から64億の確率的フリップを計測します。これは、表面的に類似したグラフィックスおよびテンソル処理ユニット(gpu/tpu)ベースの実装よりも少なくとも1桁高速です。 大規模並列アーキテクチャは、既存のソフトウェア実装の能力を超えて、1回の更新で最大1000万スイープのコントラスト発散アルゴリズム(cd-n)を快適に実行できる。 これらの結果は、伝統的に訓練された深部生成ボルツマンネットワークにIsingマシンを使用することの可能性を示し、さらにナノデバイスベースの実現の可能性を示している。

関連論文リスト

• MCU-MixQ: A HW/SW Co-optimized Mixed-precision Neural Network Design Framework for MCUs [9.719789698194154]
  ニューラルネットワーク処理に十分なデータ幅を利用する混合精度ニューラルネットワーク(MPNN)は、厳密なリソース制約を満たすための効果的なアプローチである。 しかし、MCUクラスのISAにはサブバイトと混合精度のSIMD操作がない。 本研究では,複数の低ビット幅演算を単一の命令多重データ(SIMD)命令にパックする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:51:15Z)
• Mean-Field Assisted Deep Boltzmann Learning with Probabilistic Computers [0.0]
  深部および非制限のボルツマンマシンは、毎秒数十億のマルコフチェインモンテカルロサンプルを生成するpコンピュータを用いて訓練可能であることを示す。 pコンピュータアーキテクチャの独自のFPGAエミュレーションでは、毎秒最大45億フリップがかかる。 我々のアルゴリズムは、他のスケーラブルなIsingマシンで使用することができ、その変種は、以前は難易度と思われていたBMの訓練に使用することができる。
  論文  参考訳（メタデータ） (2024-01-03T22:19:57Z)
• All-to-all reconfigurability with sparse and higher-order Ising machines [0.0]
  オール・ツー・オールのネットワーク機能をエミュレートする多重アーキテクチャを導入する。 適応並列テンパリングアルゴリズムの実行は、競合するアルゴリズムと事前ファクターの利点を示す。 pビットIMのスケールされた磁気バージョンは、汎用最適化のための最先端技術よりも桁違いに改善される可能性がある。
  論文  参考訳（メタデータ） (2023-11-21T20:27:02Z)
• Tetra-AML: Automatic Machine Learning via Tensor Networks [0.0]
  本稿では,ニューラルネットワーク検索とハイパーパラメータ最適化を自動化するTetra-AMLツールボックスを紹介する。 ツールボックスはまた、テンソルネットワークを使用した圧縮によって強化された、量子化とプルーニングによるモデル圧縮も提供する。 ここでは、コンピュータビジョンタスクにおけるニューラルネットワークの最適化のための統一ベンチマークを分析し、我々のアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-28T12:56:54Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• SME: ReRAM-based Sparse-Multiplication-Engine to Squeeze-Out Bit Sparsity of Neural Network [18.79036546647254]
  我々はSparse-Multiplication-Engine(SME)という新しいReRAMベースのディープニューラルネットワーク(DNN)アクセラレータを開発した。 まず、ビットスパースパターンを編成し、既存の量子化法に基づいてビットスパース密度を増加させる。 第2に,重みのビットをクロスバーにスライスし,周辺回路の活性化結果をスプライシングする新しい重み付けマッピング機構を提案する。 第三に、上質な押出し方式は、以前の2つのステップから高度にスパースなノンゼロでマッピングされたクロスバーを空にする。
  論文  参考訳（メタデータ） (2021-03-02T13:27:15Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。