論文の概要: Adaptive Depth Networks with Skippable Sub-Paths

• arxiv url: http://arxiv.org/abs/2312.16392v3
• Date: Sat, 28 Sep 2024 09:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:23.826864
• Title: Adaptive Depth Networks with Skippable Sub-Paths
• Title（参考訳）: Skippable Sub-Pathsを用いた適応深さネットワーク
• Authors: Woochul Kang, Hyungseop Lee,
• Abstract要約: 本稿では,最小限のトレーニングを施した適応深度ネットワークへの実践的アプローチを提案する。 当社のアプローチは,すべてのターゲットサブネットワークを反復的にトレーニングするものではない。 提案手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License:
• Abstract: Predictable adaptation of network depths can be an effective way to control inference latency and meet the resource condition of various devices. However, previous adaptive depth networks do not provide general principles and a formal explanation on why and which layers can be skipped, and, hence, their approaches are hard to be generalized and require long and complex training steps. In this paper, we present a practical approach to adaptive depth networks that is applicable to various networks with minimal training effort. In our approach, every hierarchical residual stage is divided into two sub-paths, and they are trained to acquire different properties through a simple self-distillation strategy. While the first sub-path is essential for hierarchical feature learning, the second one is trained to refine the learned features and minimize performance degradation if it is skipped. Unlike prior adaptive networks, our approach does not train every target sub-network in an iterative manner. At test time, however, we can connect these sub-paths in a combinatorial manner to select sub-networks of various accuracy-efficiency trade-offs from a single network. We provide a formal rationale for why the proposed training method can reduce overall prediction errors while minimizing the impact of skipping sub-paths. We demonstrate the generality and effectiveness of our approach with convolutional neural networks and transformers.
• Abstract（参考訳）: ネットワーク深さの予測可能な適応は、推論遅延を制御し、様々なデバイスのリソース条件を満たす効果的な方法である。 しかし、従来の適応深度ネットワークは、なぜどの層をスキップできるかという一般的な原則や公式な説明を提供していないため、それらのアプローチは一般化が困難であり、長く複雑な訓練手順を必要とする。 本稿では,各種ネットワークに適用可能な適応深度ネットワークへの実践的アプローチを提案する。 本手法では, 各階層的残差段階を2つのサブパスに分割し, 簡単な自己蒸留戦略により異なる特性を得るように訓練する。 第1のサブパスは階層的な機能学習には不可欠だが、第2のパスは、学習した機能を洗練し、スキップした場合のパフォーマンス劣化を最小限に抑えるように訓練されている。 従来の適応型ネットワークとは異なり、我々のアプローチは全てのターゲットサブネットワークを反復的に訓練しない。 しかし、テスト時には、これらのサブパスを組み合わせて、単一のネットワークから様々な精度効率トレードオフのサブネットワークを選択することができる。 本稿では,提案手法がサブパススキップの影響を最小限に抑えつつ,全体的な予測誤差を低減できる理由を公式な根拠として提示する。 畳み込みニューラルネットワークとトランスフォーマーによるアプローチの一般化と有効性を示す。

関連論文リスト

• Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
  残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。 従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。 残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
  論文  参考訳（メタデータ） (2023-05-04T02:38:11Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)
• Differentiable Sparsification for Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。 提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。 私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
  論文  参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。