論文の概要: All at Once Network Quantization via Collaborative Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2103.01435v1
- Date: Tue, 2 Mar 2021 03:09:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 21:44:06.677183
- Title: All at Once Network Quantization via Collaborative Knowledge Transfer
- Title（参考訳）: 協調型ナレッジトランスファーによるネットワーク量子化
- Authors: Ximeng Sun, Rameswar Panda, Chun-Fu Chen, Naigang Wang, Bowen Pan
Kailash Gopalakrishnan, Aude Oliva, Rogerio Feris, Kate Saenko
- Abstract要約: オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
- 参考スコア（独自算出の注目度）: 56.95849086170461
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network quantization has rapidly become one of the most widely used methods
to compress and accelerate deep neural networks on edge devices. While existing
approaches offer impressive results on common benchmark datasets, they
generally repeat the quantization process and retrain the low-precision network
from scratch, leading to different networks tailored for different resource
constraints. This limits scalable deployment of deep networks in many
real-world applications, where in practice dynamic changes in bit-width are
often desired. All at Once quantization addresses this problem, by flexibly
adjusting the bit-width of a single deep network during inference, without
requiring re-training or additional memory to store separate models, for
instant adaptation in different scenarios. In this paper, we develop a novel
collaborative knowledge transfer approach for efficiently training the
all-at-once quantization network. Specifically, we propose an adaptive
selection strategy to choose a high-precision \enquote{teacher} for
transferring knowledge to the low-precision student while jointly optimizing
the model with all bit-widths. Furthermore, to effectively transfer knowledge,
we develop a dynamic block swapping method by randomly replacing the blocks in
the lower-precision student network with the corresponding blocks in the
higher-precision teacher network. Extensive experiments on several challenging
and diverse datasets for both image and video classification well demonstrate
the efficacy of our proposed approach over state-of-the-art methods.
- Abstract（参考訳）: ネットワーク量子化は、エッジデバイス上でディープニューラルネットワークを圧縮および加速するための最も広く使われている方法の1つである。
既存のアプローチは一般的なベンチマークデータセットで印象的な結果を提供するが、一般的には量子化プロセスを繰り返して低精度ネットワークをゼロから再トレーニングし、異なるリソース制約に対応する異なるネットワークへと繋がる。
これは、実際にはビット幅の動的変更が望まれている多くの現実世界のアプリケーションにおけるディープネットワークのスケーラブルな展開を制限する。
異なるシナリオでの即時適応のために、別のモデルを保存するために、再トレーニングや追加メモリを必要とせずに、推論中に単一のディープネットワークのビット幅を柔軟に調整する。
本稿では,全対数量子化ネットワークを効率的に学習するための協調的知識伝達手法を提案する。
具体的には、全てのビット幅でモデルを共同最適化しながら、知識を低精度の学生に伝達するための高精度{teacher}を選択する適応的選択戦略を提案する。
さらに、知識を効果的に伝達するために、低精度の学生ネットワーク内のブロックを高精度の教師ネットワーク内の対応するブロックにランダムに置き換えることにより、動的ブロックスワッピング方法を開発する。
画像と映像の分類に挑戦的かつ多様なデータセットに関する広範囲な実験により,最先端手法に対する提案手法の有効性が実証された。
関連論文リスト
- Transfer Learning with Reconstruction Loss [12.906500431427716]
本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。
提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。
数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
論文 参考訳（メタデータ） (2024-03-31T00:22:36Z) - Fast and Scalable Network Slicing by Integrating Deep Learning with
Lagrangian Methods [8.72339110741777]
ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。
ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。
本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-22T07:19:16Z) - Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。
我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
論文 参考訳（メタデータ） (2022-11-11T23:53:46Z) - Intrinisic Gradient Compression for Federated Learning [3.9215337270154995]
フェデレートされた学習は、多数のクライアントがプライベートなデータに基づいて機械学習モデルを共同でトレーニングすることを可能にする。
連合学習を広く採用する上で最大の障壁の1つは、モデル更新をクライアントからクライアントに送信する通信コストである。
論文 参考訳（メタデータ） (2021-12-05T19:16:54Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳（メタデータ） (2021-02-08T19:14:21Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文 参考訳（メタデータ） (2020-02-17T18:57:33Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。