論文の概要: Multilevel Minimization for Deep Residual Networks

• arxiv url: http://arxiv.org/abs/2004.06196v1
• Date: Mon, 13 Apr 2020 20:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:42:44.505311
• Title: Multilevel Minimization for Deep Residual Networks
• Title（参考訳）: 深部残留ネットワークのマルチレベル最小化
• Authors: Lisa Gaedke-Merzh\"auser and Alena Kopani\v{c}\'akov\'a and Rolf Krause
• Abstract要約: 深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。 我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。 設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new multilevel minimization framework for the training of deep residual networks (ResNets), which has the potential to significantly reduce training time and effort. Our framework is based on the dynamical system's viewpoint, which formulates a ResNet as the discretization of an initial value problem. The training process is then formulated as a time-dependent optimal control problem, which we discretize using different time-discretization parameters, eventually generating multilevel-hierarchy of auxiliary networks with different resolutions. The training of the original ResNet is then enhanced by training the auxiliary networks with reduced resolutions. By design, our framework is conveniently independent of the choice of the training strategy chosen on each level of the multilevel hierarchy. By means of numerical examples, we analyze the convergence behavior of the proposed method and demonstrate its robustness. For our examples we employ a multilevel gradient-based methods. Comparisons with standard single level methods show a speedup of more than factor three while achieving the same validation accuracy.
• Abstract（参考訳）: 本稿では,深層残留ネットワーク(resnets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。 我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。 学習過程は時間依存最適制御問題として定式化され、異なる時間分散パラメータを用いて離散化され、最終的には異なる解像度の補助ネットワークの多重レベル階層を生成する。 元のResNetのトレーニングは、解像度を下げた補助ネットワークのトレーニングによって強化される。 設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。 数値的な例を用いて,提案手法の収束挙動を分析し,その堅牢性を示す。 実例では、多レベル勾配法を用いる。 標準のシングルレベルメソッドと比較すると、同じ検証精度を達成しながら、ファクター3以上のスピードアップを示している。

関連論文リスト

• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Adaptive Depth Networks with Skippable Sub-Paths [1.8416014644193066]
  本稿では,最小限のトレーニングを施した適応深度ネットワークへの実践的アプローチを提案する。 当社のアプローチは,すべてのターゲットサブネットワークを反復的にトレーニングするものではない。 提案手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
  論文  参考訳（メタデータ） (2023-12-27T03:43:38Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
  ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。 我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T23:53:46Z)
• Globally Convergent Multilevel Training of Deep Residual Networks [0.0]
  ディープ残差ネットワーク(ResNets)のためのグローバル収束型マルチレベルトレーニング手法を提案する。 この手法は,学習中のミニバッチサイズを適応的に調整することにより,ハイブリッド(確率的-決定論的)な設定で動作する。
  論文  参考訳（メタデータ） (2021-07-15T19:08:58Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
  本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。 提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
  論文  参考訳（メタデータ） (2020-03-23T17:55:42Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。