Fugu-MT 論文翻訳(概要): Compact CNN Structure Learning by Knowledge Distillation

論文の概要: Compact CNN Structure Learning by Knowledge Distillation

arxiv url: http://arxiv.org/abs/2104.09191v1
Date: Mon, 19 Apr 2021 10:34:22 GMT
ステータス: 処理完了
システム内更新日: 2021-04-20 13:49:41.804738
Title: Compact CNN Structure Learning by Knowledge Distillation
Title（参考訳）: 知識蒸留によるコンパクトcnn構造学習
Authors: Waqar Ahmed, Andrea Zunino, Pietro Morerio and Vittorio Murino
Abstract要約: 知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
参考スコア（独自算出の注目度）: 34.36242082055978
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The concept of compressing deep Convolutional Neural Networks (CNNs) is essential to use limited computation, power, and memory resources on embedded devices. However, existing methods achieve this objective at the cost of a drop in inference accuracy in computer vision tasks. To address such a drawback, we propose a framework that leverages knowledge distillation along with customizable block-wise optimization to learn a lightweight CNN structure while preserving better control over the compression-performance tradeoff. Considering specific resource constraints, e.g., floating-point operations per inference (FLOPs) or model-parameters, our method results in a state of the art network compression while being capable of achieving better inference accuracy. In a comprehensive evaluation, we demonstrate that our method is effective, robust, and consistent with results over a variety of network architectures and datasets, at negligible training overhead. In particular, for the already compact network MobileNet_v2, our method offers up to 2x and 5.2x better model compression in terms of FLOPs and model-parameters, respectively, while getting 1.05% better model performance than the baseline network.
Abstract（参考訳）: 深層畳み込みニューラルネットワーク(cnns)の圧縮という概念は、組み込みデバイスで限られた計算、電力、メモリリソースを使用するのに不可欠である。しかし,既存の手法はコンピュータビジョンタスクにおける推論精度の低下を犠牲にして,この目的を達成する。このような欠点に対処するため、我々は、知識蒸留とカスタマイズ可能なブロックワイズ最適化を利用して軽量CNN構造を学習し、圧縮性能のトレードオフをよりよく制御するフレームワークを提案する。提案手法は,例えばFLOP(Floating-point Operations per inference)やモデルパラメータなど,特定のリソース制約を考慮し,より優れた推論精度を達成しつつ,アートネットワークの圧縮状態が得られる。包括的評価により,本手法は様々なネットワークアーキテクチャやデータセットにおいて,トレーニングオーバーヘッドが無視できるほど効果的で頑健であり,結果に一貫性があることを実証する。特に,すでにコンパクトなネットワークであるMobileNet_v2では,FLOPとモデルパラメータでそれぞれ最大2倍,5.2倍のモデル圧縮を実現し,ベースラインネットワークよりも1.05%優れたモデル性能を実現している。

関連論文リスト

Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
論文参考訳（メタデータ） (2024-07-20T10:18:42Z)
TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文参考訳（メタデータ） (2024-04-15T06:01:48Z)
CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
論文参考訳（メタデータ） (2021-10-13T16:17:19Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文参考訳（メタデータ） (2021-06-15T17:22:59Z)
Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文参考訳（メタデータ） (2020-07-29T23:17:48Z)
Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文参考訳（メタデータ） (2020-02-19T12:03:10Z)
Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文参考訳（メタデータ） (2020-01-02T17:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。