論文の概要: A Study of the Mathematics of Deep Learning
- arxiv url: http://arxiv.org/abs/2104.14033v1
- Date: Wed, 28 Apr 2021 22:05:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 00:35:28.039423
- Title: A Study of the Mathematics of Deep Learning
- Title（参考訳）: 深層学習の数学に関する研究
- Authors: Anirbit Mukherjee
- Abstract要約: 深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。
この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
- 参考スコア（独自算出の注目度）: 1.14219428942199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: "Deep Learning"/"Deep Neural Nets" is a technological marvel that is now
increasingly deployed at the cutting-edge of artificial intelligence tasks.
This dramatic success of deep learning in the last few years has been hinged on
an enormous amount of heuristics and it has turned out to be a serious
mathematical challenge to be able to rigorously explain them. In this thesis,
submitted to the Department of Applied Mathematics and Statistics, Johns
Hopkins University we take several steps towards building strong theoretical
foundations for these new paradigms of deep-learning. In chapter 2 we show new
circuit complexity theorems for deep neural functions and prove classification
theorems about these function spaces which in turn lead to exact algorithms for
empirical risk minimization for depth 2 ReLU nets. We also motivate a measure
of complexity of neural functions to constructively establish the existence of
high-complexity neural functions. In chapter 3 we give the first algorithm
which can train a ReLU gate in the realizable setting in linear time in an
almost distribution free set up. In chapter 4 we give rigorous proofs towards
explaining the phenomenon of autoencoders being able to do sparse-coding. In
chapter 5 we give the first-of-its-kind proofs of convergence for stochastic
and deterministic versions of the widely used adaptive gradient deep-learning
algorithms, RMSProp and ADAM. This chapter also includes a detailed empirical
study on autoencoders of the hyper-parameter values at which modern algorithms
have a significant advantage over classical acceleration based methods. In the
last chapter 6 we give new and improved PAC-Bayesian bounds for the risk of
stochastic neural nets. This chapter also includes an experimental
investigation revealing new geometric properties of the paths in weight space
that are traced out by the net during the training.
- Abstract（参考訳）: ディープ・ラーニング(deep learning)/ディープ・ニューラル・ネット(deep neural nets)は、人工知能タスクの最先端にますます展開されている技術革新だ。
ここ数年のディープラーニングの劇的な成功は、膨大な量のヒューリスティックな研究に支えられ、それらを厳格に説明できるという真剣な数学的挑戦であることが判明した。
この論文では、ジョンズ・ホプキンス大学応用数学・統計学科に提出され、これらの新しいディープラーニングのパラダイムの強力な理論的基盤を構築するためのいくつかのステップを踏む。
第2章では、深部神経関数の新しい回路複雑性定理を示し、これらの関数空間に関する分類定理を証明し、その結果、深さ2ReLUネットの実験的リスク最小化のための正確なアルゴリズムを導いた。
また、高複雑度神経機能の存在を構築的に確立するために、神経機能の複雑さの尺度をモチベーションとする。
第3章では、ほぼ分布のない設定で線形時間で実現可能な設定でReLUゲートを訓練できる最初のアルゴリズムを提供する。
第4章では、スパースコーディングが可能なオートエンコーダの現象を説明するための厳密な証明を与える。
第5章では、広く使われている適応的勾配深層学習アルゴリズム RMSProp と ADAM の確率的および決定論的バージョンに対する収束の最初の証明を行う。
この章には、現代のアルゴリズムが古典的加速度に基づく方法よりも大きな利点を持つハイパーパラメータ値のオートエンコーダに関する詳細な実証研究も含まれている。
第6章では,確率的ニューラルネットのリスクに対して,PAC-ベイジアン境界を新たに改良した。
この章はまた、トレーニング中にネットによって追跡される重み空間の経路の新たな幾何学的性質を明らかにする実験的調査を含んでいる。
関連論文リスト
- Artificial Neural Network and Deep Learning: Fundamentals and Theory [0.0]
この本は、データと確率分布を理解するための確固たる基礎を定めている。
この本は多層フィードフォワードニューラルネットワークに発展し、アーキテクチャ、トレーニングプロセス、バックプロパゲーションアルゴリズムを説明する。
テキストは様々な学習率スケジュールと適応アルゴリズムをカバーし、トレーニングプロセスを最適化するための戦略を提供する。
論文 参考訳（メタデータ） (2024-08-12T21:06:59Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。
ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。
量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
論文 参考訳（メタデータ） (2023-08-22T09:11:53Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Information Flow in Deep Neural Networks [0.6922389632860545]
ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。
深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。
この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
論文 参考訳（メタデータ） (2022-02-10T23:32:26Z) - Error Bounds for a Matrix-Vector Product Approximation with Deep ReLU
Neural Networks [0.0]
深層学習の理論は、深層学習指向の深さと発達の広さの理論を刺激した。
深部修正線形単位(ReLU)フィードフォワードニューラルネットワーク(FNN)を用いて任意の行列ベクトル積を正確に近似できるのか?
我々は、発達した深部近似理論を構成するルベーグノルムとソボレフノルムの誤差境界を導出する。
先進的な理論は、新たな教師学生AIやMLパラダイムの観点から、教師の深いReLU FNNの指導と緩和にも適用できる。
論文 参考訳（メタデータ） (2021-11-25T08:14:55Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。