論文の概要: Fully Dynamic Inference with Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2007.15151v1
- Date: Wed, 29 Jul 2020 23:17:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 19:51:53.408862
- Title: Fully Dynamic Inference with Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークによる完全動的推論
- Authors: Wenhan Xia, Hongxu Yin, Xiaoliang Dai, Niraj K. Jha
- Abstract要約: Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
- 参考スコア（独自算出の注目度）: 19.833242253397206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep neural networks are powerful and widely applicable models that
extract task-relevant information through multi-level abstraction. Their
cross-domain success, however, is often achieved at the expense of
computational cost, high memory bandwidth, and long inference latency, which
prevents their deployment in resource-constrained and time-sensitive scenarios,
such as edge-side inference and self-driving cars. While recently developed
methods for creating efficient deep neural networks are making their real-world
deployment more feasible by reducing model size, they do not fully exploit
input properties on a per-instance basis to maximize computational efficiency
and task accuracy. In particular, most existing methods typically use a
one-size-fits-all approach that identically processes all inputs. Motivated by
the fact that different images require different feature embeddings to be
accurately classified, we propose a fully dynamic paradigm that imparts deep
convolutional neural networks with hierarchical inference dynamics at the level
of layers and individual convolutional filters/channels. Two compact networks,
called Layer-Net (L-Net) and Channel-Net (C-Net), predict on a per-instance
basis which layers or filters/channels are redundant and therefore should be
skipped. L-Net and C-Net also learn how to scale retained computation outputs
to maximize task accuracy. By integrating L-Net and C-Net into a joint design
framework, called LC-Net, we consistently outperform state-of-the-art dynamic
frameworks with respect to both efficiency and classification accuracy. On the
CIFAR-10 dataset, LC-Net results in up to 11.9$\times$ fewer floating-point
operations (FLOPs) and up to 3.3% higher accuracy compared to other dynamic
inference methods. On the ImageNet dataset, LC-Net achieves up to 1.4$\times$
fewer FLOPs and up to 4.6% higher Top-1 accuracy than the other methods.
- Abstract（参考訳）: 現代のディープニューラルネットワークは、マルチレベル抽象化を通じてタスク関連情報を抽出する、強力で広く適用可能なモデルである。
しかし、クロスドメインの成功は計算コスト、高メモリ帯域幅、長期の推論遅延を犠牲にして達成されることが多く、エッジサイド推論や自動運転車のようなリソース制約のある時間に敏感なシナリオでの展開を妨げる。
近年,高効率深層ニューラルネットワーク構築のための手法が開発され,モデルサイズを削減して実世界の展開が実現可能になっているが,計算効率とタスク精度を最大化するために,入力特性をインテンス単位で完全に活用していない。
特に、既存のほとんどのメソッドでは、全ての入力を同一に処理するワンサイズ・オールアプローチが一般的である。
異なる画像に異なる特徴埋め込みを正しく分類する必要があるという事実に動機づけられ、階層的推論ダイナミクスを備えた深い畳み込みニューラルネットワークと、個々の畳み込みフィルタ/チャネルを付与する完全にダイナミックなパラダイムを提案する。
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
L-NetとC-Netは、タスク精度を最大化するために保持された計算出力をスケールする方法を学ぶ。
L-NetとC-NetをLC-Netと呼ばれる共同設計フレームワークに統合することにより、効率と分類精度の両面で最先端の動的フレームワークを一貫して上回ります。
CIFAR-10データセットでは、LC-Netは最大11.9$\times$より少ない浮動小数点演算(FLOP)と、他の動的推論手法と比較して最大3.3%高い精度が得られる。
ImageNetデータセットでは、LC-Netは最大1.4$\times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
関連論文リスト
- Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳（メタデータ） (2022-07-27T16:00:28Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - ES-Net: An Efficient Stereo Matching Network [4.8986598953553555]
既存のステレオマッチングネットワークは通常、性能を改善するために遅くて計算コストのかかる3D畳み込みを使用する。
本稿では,高性能かつ効率的な推定を実現する効率的なステレオネットワーク(esnet)を提案する。
論文 参考訳（メタデータ） (2021-03-05T20:11:39Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - A Progressive Sub-Network Searching Framework for Dynamic Inference [33.93841415140311]
本稿では、トレーニング可能なノイズランキング、チャネルグループ、微調整しきい値設定、サブネット再選択など、いくつかの効果的な手法を組み込んだプログレッシブサブネット探索フレームワークを提案する。
提案手法は,従来普及していたUniversally-Slimmable-Networkの4.4%と平均2.3%と,モデルサイズが同じであるImageNetデータセットと比較して,より優れた動的推論精度を実現する。
論文 参考訳（メタデータ） (2020-09-11T22:56:02Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳（メタデータ） (2020-08-08T13:32:33Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。