論文の概要: Globally Convergent Multilevel Training of Deep Residual Networks

• arxiv url: http://arxiv.org/abs/2107.07572v1
• Date: Thu, 15 Jul 2021 19:08:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:27:12.485471
• Title: Globally Convergent Multilevel Training of Deep Residual Networks
• Title（参考訳）: ディープ残差ネットワークのグローバル収束多レベルトレーニング
• Authors: Alena Kopani\v{c}\'akov\'a and Rolf Krause
• Abstract要約: ディープ残差ネットワーク(ResNets)のためのグローバル収束型マルチレベルトレーニング手法を提案する。 この手法は,学習中のミニバッチサイズを適応的に調整することにより,ハイブリッド(確率的-決定論的)な設定で動作する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a globally convergent multilevel training method for deep residual networks (ResNets). The devised method can be seen as a novel variant of the recursive multilevel trust-region (RMTR) method, which operates in hybrid (stochastic-deterministic) settings by adaptively adjusting mini-batch sizes during the training. The multilevel hierarchy and the transfer operators are constructed by exploiting a dynamical system's viewpoint, which interprets forward propagation through the ResNet as a forward Euler discretization of an initial value problem. In contrast to traditional training approaches, our novel RMTR method also incorporates curvature information on all levels of the multilevel hierarchy by means of the limited-memory SR1 method. The overall performance and the convergence properties of our multilevel training method are numerically investigated using examples from the field of classification and regression.
• Abstract（参考訳）: 本稿では,ディープ残差ネットワーク(ResNets)に対するグローバル収束型マルチレベルトレーニング手法を提案する。 提案手法は,訓練中にミニバッチサイズを適応的に調整することにより,ハイブリッド(統計的決定論的)な設定で動作する再帰的多レベル信頼領域(rmtr)法の新しい変種と見なすことができる。 マルチレベル階層と転送演算子は、初期値問題の前方オイラー離散化としてresnetを通した前方伝播を解釈する力学系の視点を利用して構成される。 従来のトレーニング手法とは対照的に,本手法ではメモリ制限型sr1法を用いて,多階層階層の全階層の曲率情報も取り入れている。 本手法の総合的性能と収束特性を,分類・回帰の分野での例を用いて数値的に検討した。

関連論文リスト

• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Alternate Training of Shared and Task-Specific Parameters for Multi-Task Neural Networks [49.1574468325115]
  本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。 提案した代替トレーニング手法は、モデルのマルチヘッドアーキテクチャを利用して、共有およびタスク固有の重みを交互に更新する。 実証実験では、遅延オーバーフィッティング、予測の改善、計算要求の削減が示されている。
  論文  参考訳（メタデータ） (2023-12-26T21:33:03Z)
• Parallel Trust-Region Approaches in Neural Network Training: Beyond Traditional Methods [0.0]
  我々は、追加事前条件付き信頼地域戦略(APTS)の新たな変種を用いてニューラルネットワーク(NN)を訓練することを提案する。 提案手法は,ニューラルネットワークのパラメータに適用した並列化可能な付加的ドメイン分解手法に基づく。
  論文  参考訳（メタデータ） (2023-12-21T09:00:24Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
  ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。 我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T23:53:46Z)
• Multi-Modal Recurrent Fusion for Indoor Localization [24.138127040942127]
  本稿では、Wi-Fi、慣性測定ユニット(IMU)、UWB(UWB)を含むマルチモーダル無線信号を用いた屋内位置決めについて考察する。 繰り返しニューラルネットワークのコンテキストにおける各モードの現在の隠れ状態を組み合わせるために,マルチストリームリカレント融合法を提案する。
  論文  参考訳（メタデータ） (2022-02-19T02:46:49Z)
• Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning [29.895142928565228]
  MNMPG(Meta Policy Gradient)フレームワークを用いた一般的なメタラーニングベースの混合ネットワークを提案し、繊細な報酬分解のためにグローバルな階層を蒸留します。 starcraft iiのマイクロマネジメントベンチマークによる実験では、単純なユーティリティネットワークだけで現在のmarlアルゴリズムを上回ることができることが示されている。
  論文  参考訳（メタデータ） (2021-02-24T12:03:37Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Multilevel Minimization for Deep Residual Networks [0.0]
  深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。 我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。 設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
  論文  参考訳（メタデータ） (2020-04-13T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。