論文の概要: Deep Feature Surgery: Towards Accurate and Efficient Multi-Exit Networks

• arxiv url: http://arxiv.org/abs/2407.13986v2
• Date: Fri, 9 Aug 2024 23:34:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 20:33:33.689368
• Title: Deep Feature Surgery: Towards Accurate and Efficient Multi-Exit Networks
• Title（参考訳）: 深部機能手術 : 高精度かつ効率的なマルチエグジットネットワークを目指して
• Authors: Cheng Gong, Yao Chen, Qiuyang Luo, Ye Lu, Tao Li, Yuzhi Zhang, Yufei Sun, Le Zhang,
• Abstract要約: 本稿では,マルチエクイットネットワークのトレーニングにおいて,勾配コンフリクトの問題を解決するためのDeep Feature Surgery (methodname)を提案する。 methodnameは、バックプロパゲーションの複雑さを減らしたトレーニング操作を再現する。 予算バッチ分類評価は、DFSがCifar100のベースライン法と同じ分類精度を達成するために、画像毎の平均FLOPを約$$$mbolbolbolf2boldtimesで削減していることを示している。
• 参考スコア（独自算出の注目度）: 13.492494712188922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-exit network is a promising architecture for efficient model inference by sharing backbone networks and weights among multiple exits. However, the gradient conflict of the shared weights results in sub-optimal accuracy. This paper introduces Deep Feature Surgery (\methodname), which consists of feature partitioning and feature referencing approaches to resolve gradient conflict issues during the training of multi-exit networks. The feature partitioning separates shared features along the depth axis among all exits to alleviate gradient conflict while simultaneously promoting joint optimization for each exit. Subsequently, feature referencing enhances multi-scale features for distinct exits across varying depths to improve the model accuracy. Furthermore, \methodname~reduces the training operations with the reduced complexity of backpropagation. Experimental results on Cifar100 and ImageNet datasets exhibit that \methodname~provides up to a \textbf{50.00\%} reduction in training time and attains up to a \textbf{6.94\%} enhancement in accuracy when contrasted with baseline methods across diverse models and tasks. Budgeted batch classification evaluation on MSDNet demonstrates that DFS uses about $\mathbf{2}\boldsymbol{\times}$ fewer average FLOPs per image to achieve the same classification accuracy as baseline methods on Cifar100. The code is available at https://github.com/GongCheng1919/dfs.
• Abstract（参考訳）: マルチエグジットネットワークは、バックボーンネットワークと重みを複数のエグジット間で共有することで、効率的なモデル推論のための有望なアーキテクチャである。 しかし、共有重みの勾配の衝突は準最適精度をもたらす。 本稿では,マルチエクイットネットワークのトレーニングにおいて,機能分割と機能参照アプローチを併用したDeep Feature Surgery(\methodname)を提案する。 特徴分断は、すべての出口間の深さ軸に沿った共有特徴を分離し、各出口の合同最適化を同時に促進する。 その後、特徴参照により、様々な深さにまたがる異なる出口のマルチスケール機能を強化し、モデルの精度を向上する。 さらに、‘methodname~reduces the training operations with the reduce complexity of backpropagation。 Cifar100およびImageNetデータセットの実験結果によると、‘methodname~provides to a \textbf{50.00\%} reduce in training time, and a \textbf{6.94\%} enhancement in accuracy when contrast with baseline method across various model and task。 MSDNetの予算バッチ分類評価は、DFSがCifar100のベースラインメソッドと同じ分類精度を達成するために、画像あたりの平均FLOPを約$\mathbf{2}\boldsymbol{\times}$より少なくしていることを示している。 コードはhttps://github.com/GongCheng1919/dfsで入手できる。

関連論文リスト

• Deep Neural Networks Fused with Textures for Image Classification [20.58839604333332]
  きめ細かい画像分類はコンピュータビジョンにおいて難しい課題である。 グローバルテクスチャと局所パッチ情報を組み合わせたFGICの融合手法を提案する。 提案手法は,有意なマージンを有する既存手法よりも高い分類精度を達成できた。
  論文  参考訳（メタデータ） (2023-08-03T15:21:08Z)
• Training trajectories, mini-batch losses and the curious role of the learning rate [13.848916053916618]
  検証された勾配勾配勾配は、ディープラーニングのほぼすべての応用において、基本的な役割を担っていることを示す。 本稿では,ミニバッチの勾配と全バッチの関係を解析する簡単なモデルと幾何学的解釈を提案する。 特に、非常に低い損失値は、十分な学習率で1段階の降下に到達することができる。
  論文  参考訳（メタデータ） (2023-01-05T21:58:46Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Sequential Hierarchical Learning with Distribution Transformation for Image Super-Resolution [83.70890515772456]
  画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。 特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。 実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-19T01:35:53Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。