論文の概要: Update Compression for Deep Neural Networks on the Edge

• arxiv url: http://arxiv.org/abs/2203.04516v1
• Date: Wed, 9 Mar 2022 04:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 15:15:14.847233
• Title: Update Compression for Deep Neural Networks on the Edge
• Title（参考訳）: エッジ上のディープニューラルネットワークの更新圧縮
• Authors: Bo Chen, Ali Bakhshi, Gustavo Batista, Brian Ng, Tat-Jun Chin
• Abstract要約: エッジデバイス上でのディープニューラルネットワーク(DNN)の実行を含むAIアプリケーションの増加。 多くの実用的な理由は、デプロイ後のエッジデバイスでDNNモデルを更新する必要性を動機付けている。 モデル更新を圧縮するための行列分解に基づく簡単なアプローチを開発する。
• 参考スコア（独自算出の注目度）: 33.57905298104467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An increasing number of artificial intelligence (AI) applications involve the execution of deep neural networks (DNNs) on edge devices. Many practical reasons motivate the need to update the DNN model on the edge device post-deployment, such as refining the model, concept drift, or outright change in the learning task. In this paper, we consider the scenario where retraining can be done on the server side based on a copy of the DNN model, with only the necessary data transmitted to the edge to update the deployed model. However, due to bandwidth constraints, we want to minimise the transmission required to achieve the update. We develop a simple approach based on matrix factorisation to compress the model update -- this differs from compressing the model itself. The key idea is to preserve existing knowledge in the current model and optimise only small additional parameters for the update which can be used to reconstitute the model on the edge. We compared our method to similar techniques used in federated learning; our method usually requires less than half of the update size of existing methods to achieve the same accuracy.
• Abstract（参考訳）: 人工知能(AI)アプリケーションの増加には、エッジデバイス上でのディープニューラルネットワーク(DNN)の実行が含まれる。 多くの実用的な理由により、モデルの洗練、コンセプトドリフト、学習タスクの完全な変更など、デプロイ後のエッジデバイス上でdnnモデルを更新する必要がある。 本稿では,dnnモデルのコピーに基づいてサーバ側で再トレーニングを行い,デプロイされたモデルを更新するために必要なデータのみをエッジに送信するシナリオについて検討する。 しかし,帯域幅の制約のため,更新に必要な伝送量を最小にしたい。 モデル更新を圧縮するために行列分解に基づく単純なアプローチを開発します -- これはモデル自体を圧縮するのと異なります。 重要なアイデアは、現在のモデルで既存の知識を保存し、エッジでモデルを再構成するために使用できるアップデートの小さな追加パラメータのみを最適化することだ。 本手法を連合学習における類似技術と比較し,同じ精度を達成するためには既存手法の更新サイズの半分以下が必要となるのが普通であった。

関連論文リスト

• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Boundary Unlearning [5.132489421775161]
  我々は、訓練された機械学習モデルからクラス全体を解放する、迅速かつ効果的な方法である境界アンラーニングを提案する。 画像分類タスクと顔認識タスクにおいて境界アンラーニングを広範囲に評価し,それぞれ17タイムと19タイムの速さで評価した。
  論文  参考訳（メタデータ） (2023-03-21T03:33:18Z)
• Adversarial Learning Networks: Source-free Unsupervised Domain Incremental Learning [0.0]
  非定常環境では、DNNモデルの更新にはパラメータの再トレーニングやモデル微調整が必要である。 DNN分類モデルを更新するための教師なしソースフリー手法を提案する。 既存の手法とは異なり,本手法では過去のトレーニングデータを格納することなく,非定常的なソースとターゲットタスクに対して段階的にDNNモデルを更新することができる。
  論文  参考訳（メタデータ） (2023-01-28T02:16:13Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Developing RNN-T Models Surpassing High-Performance Hybrid Models with Customization Capability [46.73349163361723]
  リカレントニューラルネットワークトランスデューサ(Recurrent Neural Network Transducer, RNN-T)は、音声認識のための一般的なハイブリッドモデルを置き換える、有望なエンドツーエンド(E2E)モデルである。 トレーニング中のGPUメモリ消費を低減したRNN-Tモデルの最近の開発について述べる。 本稿では,RNN-Tモデルを新しいドメインにカスタマイズする方法について検討する。
  論文  参考訳（メタデータ） (2020-07-30T02:35:20Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Conditional Neural Architecture Search [5.466990830092397]
  これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。 本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:39:33Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。