論文の概要: Expressive Power and Loss Surfaces of Deep Learning Models
- arxiv url: http://arxiv.org/abs/2108.03579v1
- Date: Sun, 8 Aug 2021 06:28:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:51:45.769085
- Title: Expressive Power and Loss Surfaces of Deep Learning Models
- Title（参考訳）: 深層学習モデルの表現力と損失面
- Authors: Simant Dube
- Abstract要約: 本稿では,ディープラーニングモデルの動作に関する解説チュートリアルとして機能する。
2つ目の目標は、ディープラーニングモデルの表現力に関する現在の結果を、新しい洞察と結果で補完することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The goals of this paper are two-fold. The first goal is to serve as an
expository tutorial on the working of deep learning models which emphasizes
geometrical intuition about the reasons for success of deep learning. The
second goal is to complement the current results on the expressive power of
deep learning models and their loss surfaces with novel insights and results.
In particular, we describe how deep neural networks carve out manifolds
especially when the multiplication neurons are introduced. Multiplication is
used in dot products and the attention mechanism and it is employed in capsule
networks and self-attention based transformers. We also describe how random
polynomial, random matrix, spin glass and computational complexity perspectives
on the loss surfaces are interconnected.
- Abstract（参考訳）: この論文の目標は2つある。
最初の目標は、ディープラーニングの成功の理由に関する幾何学的直観を強調するディープラーニングモデルの作業に関する解説チュートリアルとして機能することである。
第2の目標は、ディープラーニングモデルとその損失面の表現力に関する現在の結果を、新たな洞察と結果で補完することである。
特に、深部ニューラルネットワークが乗算ニューロンを導入したときに多様体をどう彫るのかを述べる。
乗算はドット製品や注意機構で使われ、カプセルネットワークや自己注意に基づく変換器で使用される。
また,損失面上のランダム多項式,ランダム行列,スピングラス,計算複雑性の観点が相互に結合されていることも述べる。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Convergence Analysis of Deep Residual Networks [3.274290296343038]
ディープ・Residual Networks (ResNets) は、コンピュータビジョンにおいて非常に有用であることを示すため、特に重要である。
本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向にあるとして特徴付けることを目的とする。
論文 参考訳（メタデータ） (2022-05-13T11:53:09Z) - Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。
コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。
本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
論文 参考訳（メタデータ） (2021-07-07T18:42:45Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - A Study of the Mathematics of Deep Learning [1.14219428942199]
深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。
この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
論文 参考訳（メタデータ） (2021-04-28T22:05:54Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Depth Selection for Deep ReLU Nets in Feature Extraction and
Generalization [22.696129751033983]
本研究では,従来の経験的リスク最小化を深層ネットに実装することで,多くの学習課題に対して最適な一般化性能が得られることを示す。
本研究は, トイシミュレーションや地震震度予測の実用化など, 一連の数値実験により検証した。
論文 参考訳（メタデータ） (2020-04-01T06:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。