論文の概要: BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training

• arxiv url: http://arxiv.org/abs/2512.04189v1
• Date: Wed, 03 Dec 2025 19:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.832623
• Title: BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training
• Title（参考訳）: BEP: バイナリニューラルネットワークトレーニングのためのバイナリエラー伝搬アルゴリズム
• Authors: Luca Colombo, Fabrizio Pittorino, Daniele Zambon, Carlo Baldassi, Manuel Roveri, Cesare Alippi,
• Abstract要約: バイナリニューラルネットワーク(BNN)は、計算複雑性、メモリフットプリント、エネルギー消費を大幅に削減する。 しかしながら、勾配に基づく最適化によるBNNのトレーニングは、変数の離散的な性質のため、依然として困難である。 本稿では、バックプロパゲーション・チェーン・ルールの原則化された離散的アナログを確立するための最初の学習アルゴリズムであるBEP(Binary Error Propagation)を提案する。
• 参考スコア（独自算出の注目度）: 21.908847701590428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs), which constrain both weights and activations to binary values, offer substantial reductions in computational complexity, memory footprint, and energy consumption. These advantages make them particularly well suited for deployment on resource-constrained devices. However, training BNNs via gradient-based optimization remains challenging due to the discrete nature of their variables. The dominant approach, quantization-aware training, circumvents this issue by employing surrogate gradients. Yet, this method requires maintaining latent full-precision parameters and performing the backward pass with floating-point arithmetic, thereby forfeiting the efficiency of binary operations during training. While alternative approaches based on local learning rules exist, they are unsuitable for global credit assignment and for back-propagating errors in multi-layer architectures. This paper introduces Binary Error Propagation (BEP), the first learning algorithm to establish a principled, discrete analog of the backpropagation chain rule. This mechanism enables error signals, represented as binary vectors, to be propagated backward through multiple layers of a neural network. BEP operates entirely on binary variables, with all forward and backward computations performed using only bitwise operations. Crucially, this makes BEP the first solution to enable end-to-end binary training for recurrent neural network architectures. We validate the effectiveness of BEP on both multi-layer perceptrons and recurrent neural networks, demonstrating gains of up to +6.89% and +10.57% in test accuracy, respectively. The proposed algorithm is released as an open-source repository.
• Abstract（参考訳）: 重みとアクティベーションの両方をバイナリ値に制限するバイナリニューラルネットワーク(BNN)は、計算複雑性、メモリフットプリント、エネルギー消費を大幅に削減する。 これらのアドバンテージは、リソース制約のあるデバイスへのデプロイに特に適している。 しかしながら、勾配に基づく最適化によるBNNのトレーニングは、変数の離散的な性質のため、依然として困難である。 量子化対応トレーニング(quantization-aware training)という支配的なアプローチは、サロゲート勾配を用いることでこの問題を回避する。 しかし,本手法では,潜時完全精度パラメータの維持と浮動小数点演算による後進パスの実行が必要であり,これにより,訓練中のバイナリ操作の効率が低下する。 ローカルな学習規則に基づく代替アプローチは存在するが、グローバルなクレジット割り当てや多層アーキテクチャのバックプロパゲートエラーには適していない。 本稿では、バックプロパゲーション・チェーン・ルールの原則化された離散的アナログを確立するための最初の学習アルゴリズムであるBEP(Binary Error Propagation)を提案する。 このメカニズムにより、バイナリベクトルとして表現されたエラー信号が、ニューラルネットワークの複数の層を介して後方に伝播することが可能になる。 BEPは完全にバイナリ変数で動作し、全ての前方および後方の計算はビットワイズ演算のみを使用して実行される。 これにより、BEPは、繰り返し発生するニューラルネットワークアーキテクチャのためのエンドツーエンドのバイナリトレーニングを可能にする最初のソリューションとなる。 マルチ層パーセプトロンとリカレントニューラルネットワークの両方におけるBEPの有効性を検証し,テスト精度において最大で6.89%,+10.57%の利得を示した。 提案アルゴリズムはオープンソースリポジトリとしてリリースされている。

関連論文リスト

• Training Multi-Layer Binary Neural Networks With Local Binary Error Signals [3.7740044597960316]
  多層2層ニューラルネットワーク(BNN)のための完全二分法および勾配自由学習アルゴリズムを提案する。 提案アルゴリズムは局所的な二分誤差信号と二分重更新に依存しており、シナプス的メタ可塑性機構として機能する整数値の隠蔽重みを用いる。 実験の結果、既存の完全バイナリ単一層状態のソリューションに比べて、テスト精度は最大で+35.47%向上した。
  論文  参考訳（メタデータ） (2024-11-28T09:12:04Z)
• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。