論文の概要: Robustness to distribution shifts of compressed networks for edge devices

• arxiv url: http://arxiv.org/abs/2401.12014v1
• Date: Mon, 22 Jan 2024 15:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 13:51:23.542843
• Title: Robustness to distribution shifts of compressed networks for edge devices
• Title（参考訳）: エッジデバイス用圧縮ネットワークの分布変化に対するロバスト性
• Authors: Lulan Shen, Ali Edalati, Brett Meyer, Warren Gross, James J. Clark
• Abstract要約: 領域シフトと対向摂動の2種類のデータ分散シフトにおいて,圧縮ネットワークの堅牢性を検討することが重要である。 本研究では,圧縮モデルが元のネットワークよりも分散シフトに対して頑健でないことを明らかにする。 知識蒸留によって得られるコンパクトネットワークは、刈り取られたネットワークよりも、分散シフトに対してより堅牢である。
• 参考スコア（独自算出の注目度）: 6.606005367624169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is necessary to develop efficient DNNs deployed on edge devices with limited computation resources. However, the compressed networks often execute new tasks in the target domain, which is different from the source domain where the original network is trained. It is important to investigate the robustness of compressed networks in two types of data distribution shifts: domain shifts and adversarial perturbations. In this study, we discover that compressed models are less robust to distribution shifts than their original networks. Interestingly, larger networks are more vulnerable to losing robustness than smaller ones, even when they are compressed to a similar size as the smaller networks. Furthermore, compact networks obtained by knowledge distillation are much more robust to distribution shifts than pruned networks. Finally, post-training quantization is a reliable method for achieving significant robustness to distribution shifts, and it outperforms both pruned and distilled models in terms of robustness.
• Abstract（参考訳）: 計算資源が限られているエッジデバイスに展開する効率的なDNNを開発する必要がある。 しかし、圧縮されたネットワークは、元のネットワークがトレーニングされたソースドメインとは異なるターゲットドメインで新しいタスクを実行することが多い。 領域シフトと対向摂動の2種類のデータ分散シフトにおける圧縮ネットワークの堅牢性を検討することが重要である。 本研究では,圧縮モデルが元のネットワークよりも分散シフトに対して頑健でないことを明らかにする。 興味深いことに、大きなネットワークは、小さなネットワークと同じサイズに圧縮されたとしても、小さなネットワークよりも堅牢性を失うことに弱い。 さらに, 知識蒸留により得られたコンパクトネットワークは, プルーニングネットワークよりも分布シフトに頑健である。 最後に, 学習後の量子化は, 分散シフトに対する顕著なロバスト性を達成するための信頼性の高い方法であり, プランニングモデルと蒸留モデルの両方をロバスト性の観点から上回っている。

関連論文リスト

• DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization [27.231327287238102]
  本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-08-20T15:17:40Z)
• Understanding the effect of sparsity on neural networks robustness [32.15505923976003]
  本稿では,静的空間がトレーニングネットワークの強靭性に及ぼす影響について検討する。 ネットワークの容量を一定に保ちながら、ネットワークの幅と深さを増大させ、ネットワークの幅を一定に保ち、初期の高密度バージョンよりも良くすることを示す。
  論文  参考訳（メタデータ） (2022-06-22T08:51:40Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
  本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。 我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
  論文  参考訳（メタデータ） (2021-06-07T17:02:59Z)
• Attribution Preservation in Network Compression for Reliable Network Interpretation [81.84564694303397]
  安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。 ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。 この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
  論文  参考訳（メタデータ） (2020-10-28T16:02:31Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer [61.85316480370141]
  我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。 データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
  論文  参考訳（メタデータ） (2020-10-14T18:02:55Z)
• Achieving Adversarial Robustness via Sparsity [33.11581532788394]
  ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。 本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T13:15:43Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。