論文の概要: AntiDote: Attention-based Dynamic Optimization for Neural Network Runtime Efficiency

• arxiv url: http://arxiv.org/abs/2008.06543v1
• Date: Fri, 14 Aug 2020 18:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 17:22:13.343829
• Title: AntiDote: Attention-based Dynamic Optimization for Neural Network Runtime Efficiency
• Title（参考訳）: AntiDote: ニューラルネットワーク実行効率のための注意に基づく動的最適化
• Authors: Fuxun Yu, Chenchen Liu, Di Wang, Yanzhi Wang, Xiang Chen
• Abstract要約: 本稿では,ニューラルネットワークの注意機構に基づく動的CNN最適化フレームワークを提案する。 我々の方法では、様々なテストネットワークで無視できる精度の低下で37.4%から54.5%のFLOPを削減できる。
• 参考スコア（独自算出の注目度）: 42.00372941618975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) achieved great cognitive performance at the expense of considerable computation load. To relieve the computation load, many optimization works are developed to reduce the model redundancy by identifying and removing insignificant model components, such as weight sparsity and filter pruning. However, these works only evaluate model components' static significance with internal parameter information, ignoring their dynamic interaction with external inputs. With per-input feature activation, the model component significance can dynamically change, and thus the static methods can only achieve sub-optimal results. Therefore, we propose a dynamic CNN optimization framework in this work. Based on the neural network attention mechanism, we propose a comprehensive dynamic optimization framework including (1) testing-phase channel and column feature map pruning, as well as (2) training-phase optimization by targeted dropout. Such a dynamic optimization framework has several benefits: (1) First, it can accurately identify and aggressively remove per-input feature redundancy with considering the model-input interaction; (2) Meanwhile, it can maximally remove the feature map redundancy in various dimensions thanks to the multi-dimension flexibility; (3) The training-testing co-optimization favors the dynamic pruning and helps maintain the model accuracy even with very high feature pruning ratio. Extensive experiments show that our method could bring 37.4% to 54.5% FLOPs reduction with negligible accuracy drop on various of test networks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は、かなりの計算負荷を犠牲にして大きな認知性能を達成した。 計算負荷を軽減するため,重み空間やフィルタプルーニングなどの重要なモデル成分を同定・除去することで,モデルの冗長性を低減させる最適化作業が数多く行われている。 しかし、これらはモデルコンポーネントの静的な重要性を内部パラメータ情報でのみ評価し、外部入力との動的相互作用を無視している。 入力毎の機能アクティベーションによって、モデルコンポーネントの重要度は動的に変化し、静的メソッドは準最適結果しか得られない。 そこで本研究では,動的CNN最適化フレームワークを提案する。 ニューラルネットワークの注意機構に基づいて,(1)テストフェーズチャネルとカラム特徴マップのプルーニング,(2)ターゲットドロップアウトによるトレーニングフェーズ最適化を含む,包括的な動的最適化フレームワークを提案する。 このような動的最適化フレームワークには,(1)モデル・インプット・インタラクションを考慮したモデル・インプット・インタラクションを考慮したモデル・インプット毎の特徴の冗長性を正確に識別し,積極的に除去する,(2)マルチディメンジョン・フレキシビリティによる特徴マップの冗長性を最大に除去する,(3)トレーニング・テスト・コプティマイゼーションは動的プルーニングを好んで,高機能プルーニング比のモデル精度の維持を支援する,といったメリットがある。 広範な実験により、様々なテストネットワーク上で37.4%から54.5%のフロップ削減が可能となった。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
  モデル学習と予測制御を統合した新しいフレームワークを提案する。 我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T06:25:02Z)
• Dynamically configured physics-informed neural network in topology optimization applications [4.403140515138818]
  物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。 動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。 変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
  論文  参考訳（メタデータ） (2023-12-12T05:35:30Z)
• Explicit Foundation Model Optimization with Self-Attentive Feed-Forward Neural Units [4.807347156077897]
  バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。 本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
  論文  参考訳（メタデータ） (2023-11-13T17:55:07Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
  畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。 CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
  論文  参考訳（メタデータ） (2020-09-08T02:08:20Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。