論文の概要: GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks

• arxiv url: http://arxiv.org/abs/2102.09298v1
• Date: Thu, 18 Feb 2021 12:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-20 03:26:09.840711
• Title: GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks
• Title（参考訳）: gradfreebits:動的低精度ニューラルネットワークのための勾配自由ビット割り当て
• Authors: Benjamin J. Bodner and Gil Ben Shalom and Eran Treister
• Abstract要約: 量子ニューラルネットワーク(QNN)は、低リソースエッジデバイスにディープニューラルネットワークをデプロイするための主要なアプローチのひとつだ。 動的QNNを訓練するための新しい共同最適化スキームであるGradFreeBitsを提案する。 本手法はCIFAR10/100上での最先端の低精度ニューラルネットワークと画像ネットの分類を同等あるいは同等の性能で実現している。
• 参考スコア（独自算出の注目度）: 4.511923587827301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantized neural networks (QNNs) are among the main approaches for deploying deep neural networks on low resource edge devices. Training QNNs using different levels of precision throughout the network (dynamic quantization) typically achieves superior trade-offs between performance and computational load. However, optimizing the different precision levels of QNNs can be complicated, as the values of the bit allocations are discrete and difficult to differentiate for. Also, adequately accounting for the dependencies between the bit allocation of different layers is not straight-forward. To meet these challenges, in this work we propose GradFreeBits: a novel joint optimization scheme for training dynamic QNNs, which alternates between gradient-based optimization for the weights, and gradient-free optimization for the bit allocation. Our method achieves better or on par performance with current state of the art low precision neural networks on CIFAR10/100 and ImageNet classification. Furthermore, our approach can be extended to a variety of other applications involving neural networks used in conjunction with parameters which are difficult to optimize for.
• Abstract（参考訳）: 量子ニューラルネットワーク(QNN)は、低リソースエッジデバイスにディープニューラルネットワークをデプロイするための主要なアプローチのひとつだ。 ネットワーク全体で異なるレベルの精度(動的量子化)を用いてトレーニングするQNNは、通常、性能と計算負荷のトレードオフが優れている。 しかし、QNNの異なる精度レベルを最適化することは複雑であり、ビット割り当ての値は離散的で区別が困難である。 また、異なるレイヤのビット割り当て間の依存関係を適切に計算することは、直接的ではない。 そこで本研究では,重みの勾配に基づく最適化とビット割り当ての勾配なし最適化を交互に行う動的qnnの訓練のための新しい合同最適化手法であるgradfreebitsを提案する。 本手法はCIFAR10/100上での最先端の低精度ニューラルネットワークと画像ネットの分類を同等あるいは同等の性能で実現している。 さらに、私たちのアプローチは、最適化が難しいパラメータと一緒に使用されるニューラルネットワークを含むさまざまなアプリケーションに拡張することができます。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
  大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。 モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:23:56Z)
• SySMOL: Co-designing Algorithms and Hardware for Neural Networks with Heterogeneous Precisions [20.241671088121144]
  最近の量子化技術は、非常に微細な粒度で不均一な精度を実現している。 これらのネットワークは、個々の変数の精度設定をデコードし、変数を調整し、きめ細かい混合精度計算機能を提供するために、追加のハードウェアを必要とする。 ネットワークを細粒度の不均一な精度で効率的に実行するためのエンド・ツー・エンド協調設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:20:09Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• Combinatorial optimization for low bit-width neural networks [23.466606660363016]
  低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。 既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。 グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-04T15:02:36Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。