論文の概要: Adaptive Depth Networks with Skippable Sub-Paths
- arxiv url: http://arxiv.org/abs/2312.16392v1
- Date: Wed, 27 Dec 2023 03:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:39:21.178774
- Title: Adaptive Depth Networks with Skippable Sub-Paths
- Title（参考訳）: Skippable Sub-Pathsを用いた適応深さネットワーク
- Authors: Woochul Kang
- Abstract要約: 適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
我々のアプローチは、固定されたサブネットワークの集合を反復的に自沈させず、結果としてトレーニング時間が大幅に短縮される。
提案するアーキテクチャパターンとトレーニング手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
- 参考スコア（独自算出の注目度）: 2.1756081703276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic adaptation of network depths at runtime can be an effective way to
control inference latency and meet the resource condition of various devices.
However, previous depth adaptive networks do not provide general principles and
a formal explanation on why and which layers can be skipped, and, hence, their
approaches are hard to be generalized and require long and complex training
steps. In this paper, we present an architectural pattern and training method
for adaptive depth networks that can provide flexible accuracy-efficiency
trade-offs in a single network. In our approach, every residual stage is
divided into 2 consecutive sub-paths with different properties. While the first
sub-path is mandatory for hierarchical feature learning, the other is optimized
to incur minimal performance degradation even if it is skipped. Unlike previous
adaptive networks, our approach does not iteratively self-distill a fixed set
of sub-networks, resulting in significantly shorter training time. However,
once deployed on devices, it can instantly construct sub-networks of varying
depths to provide various accuracy-efficiency trade-offs in a single model. We
provide a formal rationale for why the proposed architectural pattern and
training method can reduce overall prediction errors while minimizing the
impact of skipping selected sub-paths. We also demonstrate the generality and
effectiveness of our approach with various residual networks, both from
convolutional neural networks and vision transformers.
- Abstract（参考訳）: 実行時のネットワーク深さの系統的適応は、推論遅延を制御し、様々なデバイスのリソース条件を満たす効果的な方法である。
しかし、従来の奥行き適応型ネットワークは、なぜどの層をスキップできるかという一般的な原則や公式な説明を提供しておらず、それらのアプローチは一般化が困難であり、長く複雑な訓練手順を必要とする。
本稿では,適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
提案手法では,各残差段階を異なる性質を持つ2つの連続部分パスに分割する。
最初のサブパスは階層的特徴学習に必須であるが、もう1つはスキップしても性能低下を最小限に抑えるよう最適化されている。
従来のアダプティブネットワークとは異なり、このアプローチは固定されたサブネットワークのセットを反復的に自己蒸留しないため、トレーニング時間が大幅に短縮される。
しかし、一度デバイスに展開すると、異なる深さのサブネットワークを構築し、単一のモデルで様々な精度と効率のトレードオフを提供することができる。
提案手法は,提案手法が選択したサブパスのスキップの影響を最小限に抑えつつ,全体的な予測誤差を低減できることを示す。
また,畳み込みニューラルネットワークと視覚トランスフォーマーの両方から,様々な残留ネットワークを用いたアプローチの汎用性と有効性を示す。
関連論文リスト
- ChannelDropBack: Forward-Consistent Stochastic Regularization for Deep Networks [5.00301731167245]
既存のテクニックでは、しばしば特別なレイヤを追加することによってネットワークのアーキテクチャを変更する必要がある。
本稿では,逆情報フローにのみランダム性を導入する単純な正規化手法であるChannelDropBackを提案する。
アーキテクチャを変更することなく、任意のモデルやレイヤのトレーニングプロセスにシームレスに統合することができます。
論文 参考訳（メタデータ） (2024-11-16T21:24:44Z) - Stimulative Training++: Go Beyond The Performance Limits of Residual
Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。
従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。
残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文 参考訳（メタデータ） (2023-05-04T02:38:11Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。
UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
論文 参考訳（メタデータ） (2021-08-20T12:09:38Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Deep Networks from the Principle of Rate Reduction [32.87280757001462]
この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。
学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。
この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
論文 参考訳（メタデータ） (2020-10-27T06:01:43Z) - Side-Tuning: A Baseline for Network Adaptation via Additive Side
Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。
本稿では,サイドチューニングという簡単な方法を提案する。
論文 参考訳（メタデータ） (2019-12-31T18:52:32Z) - Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文 参考訳（メタデータ） (2019-10-08T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。