Fugu-MT 論文翻訳(概要): Embedding Principle of Loss Landscape of Deep Neural Networks

論文の概要: Embedding Principle of Loss Landscape of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2105.14573v1
Date: Sun, 30 May 2021 15:32:32 GMT
ステータス: 処理完了
システム内更新日: 2021-06-01 17:40:37.309497
Title: Embedding Principle of Loss Landscape of Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおけるロスランドスケープの埋め込み原理
Authors: Yaoyu Zhang, Zhongwang Zhang, Tao Luo, Zhi-Qin John Xu
Abstract要約: ディープニューラルネットワーク(DNN)のロスランドスケープが,すべてのDNNの重要な原則を“含んでいる”ことを示す。広いDNNは、狭いDNNから埋め込まれた高度に退化した臨界点に埋め込まれていることが多い。
参考スコア（独自算出の注目度）: 1.1958610985612828
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding the structure of loss landscape of deep neural networks (DNNs)is obviously important. In this work, we prove an embedding principle that the loss landscape of a DNN "contains" all the critical points of all the narrower DNNs. More precisely, we propose a critical embedding such that any critical point, e.g., local or global minima, of a narrower DNN can be embedded to a critical point/hyperplane of the target DNN with higher degeneracy and preserving the DNN output function. The embedding structure of critical points is independent of loss function and training data, showing a stark difference from other nonconvex problems such as protein-folding. Empirically, we find that a wide DNN is often attracted by highly-degenerate critical points that are embedded from narrow DNNs. The embedding principle provides an explanation for the general easy optimization of wide DNNs and unravels a potential implicit low-complexity regularization during the training. Overall, our work provides a skeleton for the study of loss landscape of DNNs and its implication, by which a more exact and comprehensive understanding can be anticipated in the near
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の損失景観の構造を理解することは明らかに重要である。本研究では、DNNの損失景観が、より狭いDNNのすべての臨界点を「含んでいる」という埋め込み原理を証明する。より正確には、より狭いDNNの局所小数点や大域小数点などの臨界点を、高い縮退性を持ち、DNN出力関数を保持するターゲットDNNの臨界点/超平面に埋め込むことができる臨界埋め込みを提案する。臨界点の埋め込み構造は損失関数や訓練データとは独立であり、タンパク質の折り畳みなど他の非凸問題とは大きく異なる。経験的に、広いDNNは狭いDNNから埋め込まれた高度に退化した臨界点にしばしば惹かれる。埋め込み原理は、広義のDNNの一般的な最適化についての説明を提供し、訓練中に暗黙の低複雑さ正規化を解き放つ。全体として、我々の研究は、DNNの失われた風景とその意味を研究するための骨格を提供し、より正確で包括的な理解が近日中に期待できる。

関連論文リスト

Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach [8.994430921243767]
Adversarial Training (AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高めるための標準的手法である我々は, ニューラル・タンジェント・カーネル(NTK)理論をATに非自明に拡張し, 線形化されたDNNによって逆向きに訓練されたワイドDNNを適切に近似できることを証明する。正方形損失の場合、線形化DNNの閉形式ATダイナミクスが導出され、新たなAT退化現象が明らかになる。
論文参考訳（メタデータ） (2023-10-09T19:40:25Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks [3.5208869573271446]
我々は、NNの損失ランドスケープが、より浅いNNの損失ランドスケープのすべての重要なポイントを「含んでいる」という、深く埋め込まれた原則を証明した。我々は、層状線形化を抑えることにより、バッチ正規化が持ち上げ臨界多様体を避けるのに役立つことを実証的に実証した。
論文参考訳（メタデータ） (2022-05-26T11:42:44Z)
Embedding Principle: a hierarchical structure of loss landscape of deep neural networks [3.0871079010101963]
我々は、ディープニューラルネットワーク(NN)のロスランドスケープの一般的な埋め込み原理を証明する。より狭いNNの臨界点から埋め込まれた臨界部分多様体の次元を総合的に推定する。
論文参考訳（メタデータ） (2021-11-30T16:15:50Z)
CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
論文参考訳（メタデータ） (2021-10-28T02:28:13Z)
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。本研究は,GNNの成功に対する最初の理論的支援を提供する。
論文参考訳（メタデータ） (2021-05-10T17:59:01Z)
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文参考訳（メタデータ） (2020-06-30T14:56:05Z)
Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。既存のGNNモデルの多くは浅く、本質的に機能中心である。我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文参考訳（メタデータ） (2020-06-08T02:47:38Z)
CodNN -- Robust Neural Networks From Coded Classification [27.38642191854458]
ディープニューラルネットワーク(Deep Neural Networks、DNN)は、現在進行中の情報革命における革命的な力である。 DNNは、敵対的であろうとランダムであろうと、ノイズに非常に敏感である。これは、DNNのハードウェア実装と、自律運転のような重要なアプリケーションへの展開において、根本的な課題となる。提案手法により,DNNのデータ層あるいは内部層は誤り訂正符号で符号化され,ノイズ下での計算が成功することが保証される。
論文参考訳（メタデータ） (2020-04-22T17:07:15Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。