論文の概要: Multilevel Minimization for Deep Residual Networks
- arxiv url: http://arxiv.org/abs/2004.06196v1
- Date: Mon, 13 Apr 2020 20:52:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 23:42:44.505311
- Title: Multilevel Minimization for Deep Residual Networks
- Title(参考訳): 深部残留ネットワークのマルチレベル最小化
- Authors: Lisa Gaedke-Merzh\"auser and Alena Kopani\v{c}\'akov\'a and Rolf
Krause
- Abstract要約: 深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。
我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。
設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new multilevel minimization framework for the training of deep
residual networks (ResNets), which has the potential to significantly reduce
training time and effort. Our framework is based on the dynamical system's
viewpoint, which formulates a ResNet as the discretization of an initial value
problem. The training process is then formulated as a time-dependent optimal
control problem, which we discretize using different time-discretization
parameters, eventually generating multilevel-hierarchy of auxiliary networks
with different resolutions. The training of the original ResNet is then
enhanced by training the auxiliary networks with reduced resolutions. By
design, our framework is conveniently independent of the choice of the training
strategy chosen on each level of the multilevel hierarchy. By means of
numerical examples, we analyze the convergence behavior of the proposed method
and demonstrate its robustness. For our examples we employ a multilevel
gradient-based methods. Comparisons with standard single level methods show a
speedup of more than factor three while achieving the same validation accuracy.
- Abstract(参考訳): 本稿では,深層残留ネットワーク(resnets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。
我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。
学習過程は時間依存最適制御問題として定式化され、異なる時間分散パラメータを用いて離散化され、最終的には異なる解像度の補助ネットワークの多重レベル階層を生成する。
元のResNetのトレーニングは、解像度を下げた補助ネットワークのトレーニングによって強化される。
設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
数値的な例を用いて,提案手法の収束挙動を分析し,その堅牢性を示す。
実例では、多レベル勾配法を用いる。
標準のシングルレベルメソッドと比較すると、同じ検証精度を達成しながら、ファクター3以上のスピードアップを示している。
関連論文リスト
- Adaptive Depth Networks with Skippable Sub-Paths [2.1756081703276]
適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
我々のアプローチは、固定されたサブネットワークの集合を反復的に自沈させず、結果としてトレーニング時間が大幅に短縮される。
提案するアーキテクチャパターンとトレーニング手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
論文 参考訳(メタデータ) (2023-12-27T03:43:38Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。
我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
論文 参考訳(メタデータ) (2022-11-11T23:53:46Z) - Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。
ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。
提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
論文 参考訳(メタデータ) (2022-02-24T23:33:47Z) - Globally Convergent Multilevel Training of Deep Residual Networks [0.0]
ディープ残差ネットワーク(ResNets)のためのグローバル収束型マルチレベルトレーニング手法を提案する。
この手法は,学習中のミニバッチサイズを適応的に調整することにより,ハイブリッド(確率的-決定論的)な設定で動作する。
論文 参考訳(メタデータ) (2021-07-15T19:08:58Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳(メタデータ) (2021-03-02T03:09:03Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳(メタデータ) (2020-03-23T17:55:42Z) - Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文 参考訳(メタデータ) (2020-02-17T18:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。