論文の概要: CycleBNN: Cyclic Precision Training in Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2410.00050v1
• Date: Sat, 28 Sep 2024 08:51:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 15:19:28.274289
• Title: CycleBNN: Cyclic Precision Training in Binary Neural Networks
• Title（参考訳）: CycleBNN: バイナリニューラルネットワークにおけるサイクル精度トレーニング
• Authors: Federico Fontana, Romeo Lanzino, Anxhelo Diko, Gian Luca Foresti, Luigi Cinque,
• Abstract要約: 本稿では,バイナリニューラルネットワーク(BNN)について述べる。 BNNは計算オーバーヘッドとメモリフットプリントを大幅に削減し、完全な精度ネットワークを提供する。 しかし、エネルギー集約的なトレーニングの課題とパフォーマンスの低下は、永続的な問題である。 従来の研究とは異なり,本研究では,サイクロンBNNを導入して,BNNとサイクル精度トレーニングを統合した革新的な方法論を提案する。
• 参考スコア（独自算出の注目度）: 13.756549063691624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper works on Binary Neural Networks (BNNs), a promising avenue for efficient deep learning, offering significant reductions in computational overhead and memory footprint to full precision networks. However, the challenge of energy-intensive training and the drop in performance have been persistent issues. Tackling the challenge, prior works focus primarily on task-related inference optimization. Unlike prior works, this study offers an innovative methodology integrating BNNs with cyclic precision training, introducing the CycleBNN. This approach is designed to enhance training efficiency while minimizing the loss in performance. By dynamically adjusting precision in cycles, we achieve a convenient trade-off between training efficiency and model performance. This emphasizes the potential of our method in energy-constrained training scenarios, where data is collected onboard and paves the way for sustainable and efficient deep learning architectures. To gather insights on CycleBNN's efficiency, we conduct experiments on ImageNet, CIFAR-10, and PASCAL-VOC, obtaining competitive performances while using 96.09\% less operations during training on ImageNet, 88.88\% on CIFAR-10 and 96.09\% on PASCAL-VOC. Finally, CycleBNN offers a path towards faster, more accessible training of efficient networks, accelerating the development of practical applications. The PyTorch code is available at \url{https://github.com/fedeloper/CycleBNN/}
• Abstract（参考訳）: 本稿では、効率的なディープラーニングのための有望な道であるバイナリニューラルネットワーク(BNN)について研究し、計算オーバーヘッドとメモリフットプリントを大幅に削減し、完全精度のネットワークを実現する。 しかし、エネルギー集約的なトレーニングの課題とパフォーマンスの低下は、永続的な問題である。 課題に対処するため、事前の作業は主にタスク関連の推論最適化に重点を置いている。 従来の研究とは異なり、この研究はサイクロンBNNを導入し、BNNとサイクル精度トレーニングを統合する革新的な方法論を提供する。 このアプローチは、パフォーマンスの損失を最小限に抑えながら、トレーニング効率を向上させるように設計されている。 サイクルの精度を動的に調整することにより、トレーニング効率とモデル性能のトレードオフを便利に実現できる。 これは、データをオンボードで収集し、持続的で効率的なディープラーニングアーキテクチャを実現する、エネルギー制約のあるトレーニングシナリオにおける我々の方法の可能性を強調します。 CIFAR-10 と PASCAL-VOC では、ImageNet でのトレーニング中に 96.09 %、CIFAR-10 で 88.88 %、PASCAL-VOC で 96.09 % の演算をしながら、競争性能を得る。 最後に、CycleBNNは、より速く、よりアクセスしやすいネットワークのトレーニングへの道を提供し、実用的なアプリケーションの開発を加速する。 PyTorchのコードは \url{https://github.com/fedeloper/CycleBNN/} で公開されている。

関連論文リスト

• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time [1.926678651590519]
  訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。 本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T07:44:58Z)
• CPT: Efficient Deep Neural Network Training via Cyclic Precision [19.677029887330036]
  低精度ディープニューラルネットワーク(DNN)トレーニングは、DNNのトレーニング時間/エネルギー効率を高めるための最も効果的なノブの1つであるため、大きな注目を集めている。 我々は、DNNの精度がDNNトレーニングの学習速度と類似している可能性を推察し、DNNトレーニングの時間/エネルギー効率をさらに高めるためのトレーニング軌道に沿った動的精度を提唱する。
  論文  参考訳（メタデータ） (2021-01-25T02:56:18Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Bayesian Neural Networks at Scale: A Performance Analysis and Pruning Study [2.3605348648054463]
  本研究は,BNNを大規模にトレーニングする際の課題に対処するために,分散トレーニングを用いた高性能コンピューティングの利用について検討する。 我々は,Cray-XC40クラスタ上でのVGG-16とResnet-18モデルのトレーニング性能とスケーラビリティの比較を行った。
  論文  参考訳（メタデータ） (2020-05-23T23:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。