論文の概要: Adaptive Depth Networks with Skippable Sub-Paths
- arxiv url: http://arxiv.org/abs/2312.16392v1
- Date: Wed, 27 Dec 2023 03:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:39:21.178774
- Title: Adaptive Depth Networks with Skippable Sub-Paths
- Title(参考訳): Skippable Sub-Pathsを用いた適応深さネットワーク
- Authors: Woochul Kang
- Abstract要約: 適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
我々のアプローチは、固定されたサブネットワークの集合を反復的に自沈させず、結果としてトレーニング時間が大幅に短縮される。
提案するアーキテクチャパターンとトレーニング手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
- 参考スコア(独自算出の注目度): 2.1756081703276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic adaptation of network depths at runtime can be an effective way to
control inference latency and meet the resource condition of various devices.
However, previous depth adaptive networks do not provide general principles and
a formal explanation on why and which layers can be skipped, and, hence, their
approaches are hard to be generalized and require long and complex training
steps. In this paper, we present an architectural pattern and training method
for adaptive depth networks that can provide flexible accuracy-efficiency
trade-offs in a single network. In our approach, every residual stage is
divided into 2 consecutive sub-paths with different properties. While the first
sub-path is mandatory for hierarchical feature learning, the other is optimized
to incur minimal performance degradation even if it is skipped. Unlike previous
adaptive networks, our approach does not iteratively self-distill a fixed set
of sub-networks, resulting in significantly shorter training time. However,
once deployed on devices, it can instantly construct sub-networks of varying
depths to provide various accuracy-efficiency trade-offs in a single model. We
provide a formal rationale for why the proposed architectural pattern and
training method can reduce overall prediction errors while minimizing the
impact of skipping selected sub-paths. We also demonstrate the generality and
effectiveness of our approach with various residual networks, both from
convolutional neural networks and vision transformers.
- Abstract(参考訳): 実行時のネットワーク深さの系統的適応は、推論遅延を制御し、様々なデバイスのリソース条件を満たす効果的な方法である。
しかし、従来の奥行き適応型ネットワークは、なぜどの層をスキップできるかという一般的な原則や公式な説明を提供しておらず、それらのアプローチは一般化が困難であり、長く複雑な訓練手順を必要とする。
本稿では,適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
提案手法では,各残差段階を異なる性質を持つ2つの連続部分パスに分割する。
最初のサブパスは階層的特徴学習に必須であるが、もう1つはスキップしても性能低下を最小限に抑えるよう最適化されている。
従来のアダプティブネットワークとは異なり、このアプローチは固定されたサブネットワークのセットを反復的に自己蒸留しないため、トレーニング時間が大幅に短縮される。
しかし、一度デバイスに展開すると、異なる深さのサブネットワークを構築し、単一のモデルで様々な精度と効率のトレードオフを提供することができる。
提案手法は,提案手法が選択したサブパスのスキップの影響を最小限に抑えつつ,全体的な予測誤差を低減できることを示す。
また,畳み込みニューラルネットワークと視覚トランスフォーマーの両方から,様々な残留ネットワークを用いたアプローチの汎用性と有効性を示す。
関連論文リスト
- Layerwise Sparsifying Training and Sequential Learning Strategy for
Neural Architecture Adaptation [0.0]
この研究は、与えられたトレーニングデータセットに順応し、一般化するために、ニューラルネットワークを開発するための2段階のフレームワークを提示します。
第1段階では、新しい層を毎回追加し、前層の凍結パラメータによって独立に訓練する、多様体規則化層ワイズトレーニングアプローチを採用する。
第2の段階では、第1の段階で生成された残余から情報を抽出するために、一連の小ネットワークを用いるシーケンシャルな学習プロセスを採用する。
論文 参考訳(メタデータ) (2022-11-13T09:51:16Z) - Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳(メタデータ) (2022-09-30T15:15:05Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:57:51Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Continual Adaptation for Deep Stereo [52.181067640300014]
本稿では,難易度と変化の激しい環境に対処するために,深層ステレオネットワークの継続的適応パラダイムを提案する。
我々のパラダイムでは、オンラインモデルに継続的に適応するために必要な学習信号は、右から左への画像ワープや従来のステレオアルゴリズムによって自己監督から得られる。
我々のネットワークアーキテクチャと適応アルゴリズムは、初めてのリアルタイム自己適応型ディープステレオシステムを実現する。
論文 参考訳(メタデータ) (2020-07-10T08:15:58Z) - Multilevel Minimization for Deep Residual Networks [0.0]
深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。
我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。
設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
論文 参考訳(メタデータ) (2020-04-13T20:52:26Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Side-Tuning: A Baseline for Network Adaptation via Additive Side
Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。
本稿では,サイドチューニングという簡単な方法を提案する。
論文 参考訳(メタデータ) (2019-12-31T18:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。