Fugu-MT 論文翻訳(概要): A Novel Structured Natural Gradient Descent for Deep Learning

論文の概要: A Novel Structured Natural Gradient Descent for Deep Learning

arxiv url: http://arxiv.org/abs/2109.10100v1
Date: Tue, 21 Sep 2021 11:12:10 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 14:33:40.772720
Title: A Novel Structured Natural Gradient Descent for Deep Learning
Title（参考訳）: 深層学習のための新しい構造的自然勾配降下
Authors: Weihua Liu, Xiabi Liu
Abstract要約: 我々は、ディープニューラルネットワークの構造を再構築し、従来の勾配降下(GD)を用いて新しいネットワークを最適化する。実験結果から,提案手法はディープネットワークモデルの収束を加速し,GDよりも優れた性能が得られることが示された。
参考スコア（独自算出の注目度）: 3.0686953242470794
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Natural gradient descent (NGD) provided deep insights and powerful tools to deep neural networks. However the computation of Fisher information matrix becomes more and more difficult as the network structure turns large and complex. This paper proposes a new optimization method whose main idea is to accurately replace the natural gradient optimization by reconstructing the network. More specifically, we reconstruct the structure of the deep neural network, and optimize the new network using traditional gradient descent (GD). The reconstructed network achieves the effect of the optimization way with natural gradient descent. Experimental results show that our optimization method can accelerate the convergence of deep network models and achieve better performance than GD while sharing its computational simplicity.
Abstract（参考訳）: 自然勾配降下(NGD)はディープニューラルネットワークに深い洞察と強力なツールを提供する。しかし,ネットワーク構造が大きく複雑になるにつれて,フィッシャー情報行列の計算はますます難しくなっている。本稿では,ネットワーク再構成による自然勾配最適化の精度向上を主目的とする新しい最適化手法を提案する。具体的には、ディープニューラルネットワークの構造を再構築し、従来の勾配降下(GD)を用いて新しいネットワークを最適化する。再構成されたネットワークは、自然勾配降下を伴う最適化方法の効果を達成する。実験の結果,本手法は深層ネットワークモデルの収束を加速し,gdよりも性能が向上し,計算の単純さを共有できることがわかった。

関連論文リスト

Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
論文参考訳（メタデータ） (2023-12-26T12:19:22Z)
Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
超高次元最適化を行うアルゴリズムを提案する。ディープ・ジェネレーティブ・ネットワークをベースとしています提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
論文参考訳（メタデータ） (2023-07-09T00:05:59Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文参考訳（メタデータ） (2022-10-12T06:49:16Z)
EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
論文参考訳（メタデータ） (2022-02-08T13:07:55Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
論文参考訳（メタデータ） (2020-07-17T10:19:17Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。