論文の概要: Energy-Efficient Supervised Learning with a Binary Stochastic Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2507.06461v1
• Date: Wed, 09 Jul 2025 00:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.424665
• Title: Energy-Efficient Supervised Learning with a Binary Stochastic Forward-Forward Algorithm
• Title（参考訳）: 2元確率フォワードアルゴリズムによるエネルギー効率向上学習
• Authors: Risi Jaiswal, Supriyo Datta, Joseph G. Makin,
• Abstract要約: 我々は二進数単位に対する前方アルゴリズムを導出する。 提案アルゴリズムを,MNIST,Fashion-MNIST,CIFAR-10データセット上で評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reducing energy consumption has become a pressing need for modern machine learning, which has achieved many of its most impressive results by scaling to larger and more energy-consumptive neural networks. Unfortunately, the main algorithm for training such networks, backpropagation, poses significant challenges for custom hardware accelerators, due to both its serial dependencies and the memory footprint needed to store forward activations for the backward pass. Alternatives to backprop, although less effective, do exist; here the main computational bottleneck becomes matrix multiplication. In this study, we derive forward-forward algorithms for binary, stochastic units. Binarization of the activations transforms matrix multiplications into indexing operations, which can be executed efficiently in hardware. Stochasticity, combined with tied weights across units with different biases, bypasses the information bottleneck imposed by binary units. Furthermore, although slow and expensive in traditional hardware, binary sampling that is very fast can be implemented cheaply with p-bits (probabilistic bits), novel devices made up of unstable magnets. We evaluate our proposed algorithms on the MNIST, Fashion-MNIST, and CIFAR-10 datasets, showing that its performance is close to real-valued forward-forward, but with an estimated energy savings of about one order of magnitude.
• Abstract（参考訳）: エネルギー消費の削減は、現代の機械学習にとって急進的なニーズとなり、より大規模でエネルギーを消費するニューラルネットワークにスケールすることで、その最も印象的な結果の多くを達成してきた。 残念ながら、そのようなネットワークをトレーニングする主要なアルゴリズムであるバックプロパゲーションは、そのシリアル依存関係と、後方パスの前方アクティベーションを保持するために必要なメモリフットプリントの両方のために、カスタムハードウェアアクセラレーターに重大な課題を提起している。 バックプロップの代替は、効果は低いが、存在する: ここでは、主要な計算ボトルネックが行列乗法となる。 本研究では,二進確率単位に対する前方アルゴリズムを導出する。 アクティベーションのバイナリ化は、行列乗算をインデックス化演算に変換する。 確率性(Stochasticity)は、異なるバイアスを持つユニット間で結びついた重みと組み合わせて、バイナリユニットによって課される情報のボトルネックを回避します。 さらに、従来のハードウェアでは遅くて高価だが、非常に高速なバイナリサンプリングは、不安定な磁石からなる新しいデバイスであるpビット(確率ビット)で安価に実装することができる。 提案したアルゴリズムをMNIST, Fashion-MNIST, CIFAR-10データセット上で評価し, 実測値に近い性能を示した。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy [17.11946381948498]
  ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。 ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。 本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T14:38:36Z)
• Signed Binary Weight Networks [17.07866119979333]
  2つの重要なアルゴリズム技術は、効率の良い推論を可能にすることを約束している。 本稿では,さらに効率を向上させるために,署名バイナリネットワークと呼ばれる新しい手法を提案する。 提案手法は,イメージネットとCIFAR10データセットの2進法で同等の精度を達成し,69%の空間性を実現する。
  論文  参考訳（メタデータ） (2022-11-25T00:19:21Z)
• Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
  我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:33:40Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。