論文の概要: A Progressive Sub-Network Searching Framework for Dynamic Inference
- arxiv url: http://arxiv.org/abs/2009.05681v1
- Date: Fri, 11 Sep 2020 22:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 21:41:36.495147
- Title: A Progressive Sub-Network Searching Framework for Dynamic Inference
- Title（参考訳）: 動的推論のためのプログレッシブサブネットワーク検索フレームワーク
- Authors: Li Yang, Zhezhi He, Yu Cao, Deliang Fan
- Abstract要約: 本稿では、トレーニング可能なノイズランキング、チャネルグループ、微調整しきい値設定、サブネット再選択など、いくつかの効果的な手法を組み込んだプログレッシブサブネット探索フレームワークを提案する。
提案手法は,従来普及していたUniversally-Slimmable-Networkの4.4%と平均2.3%と,モデルサイズが同じであるImageNetデータセットと比較して,より優れた動的推論精度を実現する。
- 参考スコア（独自算出の注目度）: 33.93841415140311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many techniques have been developed, such as model compression, to make Deep
Neural Networks (DNNs) inference more efficiently. Nevertheless, DNNs still
lack excellent run-time dynamic inference capability to enable users trade-off
accuracy and computation complexity (i.e., latency on target hardware) after
model deployment, based on dynamic requirements and environments. Such research
direction recently draws great attention, where one realization is to train the
target DNN through a multiple-term objective function, which consists of
cross-entropy terms from multiple sub-nets. Our investigation in this work show
that the performance of dynamic inference highly relies on the quality of
sub-net sampling. With objective to construct a dynamic DNN and search multiple
high quality sub-nets with minimal searching cost, we propose a progressive
sub-net searching framework, which is embedded with several effective
techniques, including trainable noise ranking, channel group and fine-tuning
threshold setting, sub-nets re-selection. The proposed framework empowers the
target DNN with better dynamic inference capability, which outperforms prior
works on both CIFAR-10 and ImageNet dataset via comprehensive experiments on
different network structures. Taken ResNet18 as an example, our proposed method
achieves much better dynamic inference accuracy compared with prior popular
Universally-Slimmable-Network by 4.4%-maximally and 2.3%-averagely in ImageNet
dataset with the same model size.
- Abstract（参考訳）: モデル圧縮など、ディープニューラルネットワーク(DNN)をより効率的に推論するための多くの技術が開発されている。
それでもdnnには、動的要件と環境に基づいたモデル展開後の精度と計算の複雑さ(すなわち、ターゲットハードウェアの遅延)をトレードオフ可能にするための、優れた実行時の動的推論機能が欠けている。
このような研究の方向性は近年大きな注目を集めており、ひとつは複数のサブネットからのクロスエントロピー項からなる多目的関数を通じてターゲットDNNを訓練することである。
本研究では,動的推論の性能はサブネットサンプリングの品質に大きく依存していることを示す。
動的DNNの構築と検索コストの最小化を目的として,トレーニング可能なノイズランキング,チャネルグループ,微調整しきい値設定,サブネットの再選択など,いくつかの効果的な手法を組み込んだプログレッシブサブネット探索フレームワークを提案する。
CIFAR-10とImageNetの両方のデータセットにおいて、異なるネットワーク構造に関する包括的な実験により、従来よりも優れた性能を発揮する。
ResNet18を例として、提案手法は、モデルサイズが同じImageNetデータセットにおいて、従来のUniversally-Slimmable-Networkの4.4%と平均2.3%よりはるかに優れた動的推論精度を実現する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Resource-Efficient Sensor Fusion via System-Wide Dynamic Gated Neural Networks [16.0018681576301]
我々はQuantile-Constrained Inference (QIC)と呼ばれる新しいアルゴリズム戦略を提案する。
QICは、上記のシステムのすべての側面について、共同で高品質で迅速な決定を行います。
結果,QICは最適値と一致し,選択肢を80%以上上回っていることを確認した。
論文 参考訳（メタデータ） (2024-10-22T06:12:04Z) - CARIn: Constraint-Aware and Responsive Inference on Heterogeneous Devices for Single- and Multi-DNN Workloads [4.556037016746581]
本稿では,モバイルデバイス上でのディープニューラルネットワーク(DNN)の実行を最適化する上での課題に対処する。
CARInはシングルDNNアプリケーションとマルチDNNアプリケーションの両方を最適化するための新しいフレームワークである。
現状のOODInフレームワークとは対照的に,単一モデルの設計では1.92倍,最大10.69倍となる。
論文 参考訳（メタデータ） (2024-09-02T09:18:11Z) - SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture
Search [6.121126813817338]
最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。
我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
論文 参考訳（メタデータ） (2023-12-19T22:08:49Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳（メタデータ） (2023-10-17T09:25:17Z) - Towards Enabling Dynamic Convolution Neural Network Inference for Edge
Intelligence [0.0]
エッジインテリジェンスの最近の進歩は、スループットを高め、レイテンシを低減するために、エッジネットワーク上のCNN推論を必要とする。
柔軟性を得るためには、さまざまなモバイルデバイスに対する動的パラメータ割り当ては、事前に定義されたか、オンザフライで定義されたCNNアーキテクチャを実装する必要がある。
本稿では,スケーラブルで動的に分散したCNN推論を高速に設計するためのライブラリベースのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:33:42Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。