Fugu-MT 論文翻訳(概要): Training of deep residual networks with stochastic MG/OPT

論文の概要: Training of deep residual networks with stochastic MG/OPT

arxiv url: http://arxiv.org/abs/2108.04052v1
Date: Mon, 9 Aug 2021 14:04:26 GMT
ステータス: 処理完了
システム内更新日: 2021-08-10 15:11:54.982418
Title: Training of deep residual networks with stochastic MG/OPT
Title（参考訳）: 確率MG/OPTを用いた深部残留ネットワークの訓練
Authors: Cyrill von Planta, Alena Kopanicakova, Rolf Krause
Abstract要約: 非線形乗法MG/OPTの変種を応用したディープ残差ネットワークを訓練する。深層ネットワーク上でのMNISTトレーニングにおいて,大幅な高速化とロバスト性について報告する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We train deep residual networks with a stochastic variant of the nonlinear multigrid method MG/OPT. To build the multilevel hierarchy, we use the dynamical systems viewpoint specific to residual networks. We report significant speed-ups and additional robustness for training MNIST on deep residual networks. Our numerical experiments also indicate that multilevel training can be used as a pruning technique, as many of the auxiliary networks have accuracies comparable to the original network.
Abstract（参考訳）: 非線形多重グリッド法MG/OPTの確率的変種を用いてディープ残差ネットワークを訓練する。マルチレベル階層を構築するために、残差ネットワークに特有の動的システム視点を用いる。深層ネットワーク上でのMNISTトレーニングにおいて,大幅な高速化とロバスト性について報告する。また,本実験では,補助ネットワークの多くが元のネットワークに匹敵する精度を持つため,マルチレベルトレーニングをプルーニング手法として使用できることを示す。

関連論文リスト

Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
論文参考訳（メタデータ） (2023-10-06T02:35:35Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Boosting Residual Networks with Group Knowledge [75.73793561417702]
最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-26T05:39:57Z)
Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文参考訳（メタデータ） (2023-05-04T02:38:11Z)
Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文参考訳（メタデータ） (2021-08-20T11:53:05Z)
Meta-Learning with Network Pruning [40.07436648243748]
本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
論文参考訳（メタデータ） (2020-07-07T06:13:11Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Multilevel Minimization for Deep Residual Networks [0.0]
深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
論文参考訳（メタデータ） (2020-04-13T20:52:26Z)
A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文参考訳（メタデータ） (2020-03-11T20:14:47Z)
Multi-wavelet residual dense convolutional neural network for image denoising [2.500475462213752]
画像復号化タスクにおけるネットワークの性能と頑健性を改善するために, 短期的残差学習法を用いる。ここでは、バックボーンとしてマルチウェーブレット畳み込みニューラルネットワーク(MWCNN)を選択し、各層に残留密度ブロック(RDB)を挿入する。他のRDBベースのネットワークと比較して、隣接する層からオブジェクトのより多くの特徴を抽出し、大きなRFを保存し、計算効率を高めることができる。
論文参考訳（メタデータ） (2020-02-19T17:21:37Z)
Variational Depth Search in ResNets [2.6763498831034043]
ワンショットのニューラルアーキテクチャサーチにより、ウェイトとネットワークアーキテクチャの合同学習が可能になり、計算コストが削減される。探索空間を残差ネットワークの深さに制限し、解析的に抽出可能な変分目的を定式化し、1ショットで近似された奥行きの奥行きの偏りを許容する。 MNIST, Fashion-MNIST, SVHNデータセットのネットワーク深度を手動で探索する手法の比較を行った。
論文参考訳（メタデータ） (2020-02-06T16:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。