論文の概要: Adaptively Solving the Local-Minimum Problem for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2012.13632v1
- Date: Fri, 25 Dec 2020 21:51:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 04:37:18.542896
- Title: Adaptively Solving the Local-Minimum Problem for Deep Neural Networks
- Title（参考訳）: 深層ニューラルネットワークにおける局所最小問題の適応解法
- Authors: Huachuan Wang and James Ting-Ho Lo
- Abstract要約: 深層ニューラルネットワーク(DNN)の訓練における局所最小問題を直接解く手法を提案する。
本手法は, クロスエントロピー損失をリスク回避誤差(RAE)に変換することにより, クロスエントロピー損失基準の凸化に基づく。
得られた深層学習マシンは,世界最小のクロスエントロピー損失のアトラクション盆地内に存在することが期待されている。
- 参考スコア（独自算出の注目度）: 0.8122270502556371
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper aims to overcome a fundamental problem in the theory and
application of deep neural networks (DNNs). We propose a method to solve the
local minimum problem in training DNNs directly. Our method is based on the
cross-entropy loss criterion's convexification by transforming the
cross-entropy loss into a risk averting error (RAE) criterion. To alleviate
numerical difficulties, a normalized RAE (NRAE) is employed. The convexity
region of the cross-entropy loss expands as its risk sensitivity index (RSI)
increases. Making the best use of the convexity region, our method starts
training with an extensive RSI, gradually reduces it, and switches to the RAE
as soon as the RAE is numerically feasible. After training converges, the
resultant deep learning machine is expected to be inside the attraction basin
of a global minimum of the cross-entropy loss. Numerical results are provided
to show the effectiveness of the proposed method.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の理論と応用における根本的な問題を克服することを目的とする。
そこで本研究では,DNNを直接訓練する際の局所最小問題の解法を提案する。
本手法は, クロスエントロピー損失をリスク回避誤差(RAE)に変換することにより, クロスエントロピー損失基準の凸化に基づく。
数値的困難を軽減するため、正規化RAE(NRAE)を用いる。
クロスエントロピー損失の凸領域はリスク感度指数(RSI)が増加するにつれて拡大する。
凸領域を最大限に活用するため,本手法は広いrsiを用いてトレーニングを開始し,徐々に縮小し,raeが数値的に実現可能であればraeに切り替える。
トレーニングが収束すると、結果のディープラーニングマシンは、世界最小のクロスエントロピー損失のアトラクション盆地内にあることが期待される。
提案手法の有効性を示すために, 数値計算を行った。
関連論文リスト
- Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳（メタデータ） (2022-11-22T15:08:05Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。
推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。
提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
論文 参考訳（メタデータ） (2021-07-27T06:57:56Z) - Overparameterization of deep ResNet: zero loss and mean-field analysis [19.45069138853531]
データに適合するディープニューラルネットワーク(NN)内のパラメータを見つけることは、非最適化問題である。
基礎的な一階述語最適化法(漸進降下法)は,多くの現実的状況に完全に適合した大域的解を求める。
所定の閾値未満の損失を減らすために必要な深さと幅を高い確率で推定する。
論文 参考訳（メタデータ） (2021-05-30T02:46:09Z) - Spectral Pruning for Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。
本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
論文 参考訳（メタデータ） (2021-05-23T00:30:59Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Tunable Subnetwork Splitting for Model-parallelism of Neural Network
Training [12.755664985045582]
本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。
提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
論文 参考訳（メタデータ） (2020-09-09T01:05:12Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。