論文の概要: Enabling On-device Continual Learning with Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2401.09916v1
• Date: Thu, 18 Jan 2024 11:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 17:00:22.394779
• Title: Enabling On-device Continual Learning with Binary Neural Networks
• Title（参考訳）: バイナリニューラルネットワークによるオンデバイス連続学習の実現
• Authors: Lorenzo Vorabbi, Davide Maltoni, Guido Borghi, Stefano Santi
• Abstract要約: 連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。 具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
• 参考スコア（独自算出の注目度）: 3.180732240499359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device learning remains a formidable challenge, especially when dealing with resource-constrained devices that have limited computational capabilities. This challenge is primarily rooted in two key issues: first, the memory available on embedded devices is typically insufficient to accommodate the memory-intensive back-propagation algorithm, which often relies on floating-point precision. Second, the development of learning algorithms on models with extreme quantization levels, such as Binary Neural Networks (BNNs), is critical due to the drastic reduction in bit representation. In this study, we propose a solution that combines recent advancements in the field of Continual Learning (CL) and Binary Neural Networks to enable on-device training while maintaining competitive performance. Specifically, our approach leverages binary latent replay (LR) activations and a novel quantization scheme that significantly reduces the number of bits required for gradient computation. The experimental validation demonstrates a significant accuracy improvement in combination with a noticeable reduction in memory requirement, confirming the suitability of our approach in expanding the practical applications of deep learning in real-world scenarios.
• Abstract（参考訳）: オンデバイス学習は、特に計算能力に制限のあるリソース制約のあるデバイスを扱う場合、依然として深刻な課題である。 第一に、組み込みデバイスで利用可能なメモリは、しばしば浮動小数点精度に依存するメモリ集約バックプロパゲーションアルゴリズムに対応するのに不十分である。 第二に、BNN(Binary Neural Networks)のような極端な量子化レベルを持つモデル上での学習アルゴリズムの開発は、ビット表現の劇的な減少のために重要である。 本研究では,連続学習(CL)とバイナリニューラルネットワークの分野における最近の進歩を組み合わせ,競争力を維持しつつデバイス上でのトレーニングを可能にするソリューションを提案する。 具体的には,二元潜在リプレイ(lr)のアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化スキームを活用する。 実験による検証は、メモリ要件の顕著な削減と組み合わせて、実世界のシナリオにおけるディープラーニングの実践的応用を拡大するための我々のアプローチの適合性を確認するものである。

関連論文リスト

• On-Device Learning with Binary Neural Networks [2.7040098749051635]
  我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。 バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
  論文  参考訳（メタデータ） (2023-08-29T13:48:35Z)
• Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy [17.11946381948498]
  ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。 ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。 本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T14:38:36Z)
• Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。 提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
  論文  参考訳（メタデータ） (2022-12-22T15:22:36Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Enabling Binary Neural Network Training on the Edge [7.32770338248516]
  既存のバイナリニューラルネットワークトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。 本稿では,メモリフットプリントの大幅な削減を図った,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。 また、2ナライズされたResNet-18のin-scratch ImageNetトレーニングも実施し、3.78$times$メモリ削減を実現した。
  論文  参考訳（メタデータ） (2021-02-08T15:06:41Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
  両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-24T03:46:51Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。