論文の概要: Mathematical Introduction to Deep Learning: Methods, Implementations,
and Theory
- arxiv url: http://arxiv.org/abs/2310.20360v1
- Date: Tue, 31 Oct 2023 11:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 15:32:49.285053
- Title: Mathematical Introduction to Deep Learning: Methods, Implementations,
and Theory
- Title(参考訳): 深層学習への数学的導入:方法、実装、理論
- Authors: Arnulf Jentzen, Benno Kuckuck, Philippe von Wurstemberger
- Abstract要約: この本は、ディープラーニングアルゴリズムのトピックについて紹介することを目的としている。
本稿では,ディープラーニングアルゴリズムの本質的構成要素を数学的に詳細に概説する。
- 参考スコア(独自算出の注目度): 4.066869900592636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This book aims to provide an introduction to the topic of deep learning
algorithms. We review essential components of deep learning algorithms in full
mathematical detail including different artificial neural network (ANN)
architectures (such as fully-connected feedforward ANNs, convolutional ANNs,
recurrent ANNs, residual ANNs, and ANNs with batch normalization) and different
optimization algorithms (such as the basic stochastic gradient descent (SGD)
method, accelerated methods, and adaptive methods). We also cover several
theoretical aspects of deep learning algorithms such as approximation
capacities of ANNs (including a calculus for ANNs), optimization theory
(including Kurdyka-{\L}ojasiewicz inequalities), and generalization errors. In
the last part of the book some deep learning approximation methods for PDEs are
reviewed including physics-informed neural networks (PINNs) and deep Galerkin
methods. We hope that this book will be useful for students and scientists who
do not yet have any background in deep learning at all and would like to gain a
solid foundation as well as for practitioners who would like to obtain a firmer
mathematical understanding of the objects and methods considered in deep
learning.
- Abstract(参考訳): 本書は,ディープラーニングアルゴリズムの話題を紹介することを目的としている。
本稿では,ニューラルネットワーク(ANN)アーキテクチャ(完全連結フィードフォワードANN,畳み込みANN,残差ANN,バッチ正規化ANNなど)や最適化アルゴリズム(基本確率勾配降下法(SGD)法,高速化法,適応法など)を含む,ディープラーニングアルゴリズムの基本成分について検討する。
また,annの近似容量(annの計算を含む),最適化理論(kurdyka-{\l}ojasiewicz不等式を含む),一般化誤差など,ディープラーニングアルゴリズムのいくつかの理論的側面についても取り上げる。
書籍の最後のパートでは、物理学的インフォームドニューラルネットワーク(pinns)やdeep galerkinメソッドを含む、pdesのディープラーニング近似手法が紹介されている。
深層学習の背景を全く持たず、しっかりとした基礎を築きたい学生や科学者や、深層学習で考慮された対象や方法の数学的理解をしっかりとした数学的理解を得たい実践者にとって、この本が役立つことを願っている。
関連論文リスト
- Deep Learning and Geometric Deep Learning: an introduction for
mathematicians and physicists [0.0]
本稿では,Deep LearningとGeometric Deep Learningの新たな成功アルゴリズムの内部機能について論じる。
これらのアルゴリズムの主要な要素であるスコアと損失関数について検討し、モデルのトレーニングにおける主要なステップを説明します。
Kullback-Leibler分散、回帰、多層パーセプトロン、ユニバーサル近似理論について議論する。
論文 参考訳(メタデータ) (2023-05-09T16:50:36Z) - Optimization Methods in Deep Learning: A Comprehensive Overview [0.0]
深層学習は、画像認識、自然言語処理、音声認識など様々な分野で顕著な成功を収めてきた。
ディープラーニングの有効性は、ディープニューラルネットワークのトレーニングに使用される最適化方法に大きく依存する。
本稿では、勾配勾配、Adagrad、Adadelta、RMSpropなどの一階最適化手法の概要と、NesterovAccelered gradient、Adam、Nadam、AdaMax、AMSGradといった最近の運動量ベースおよび適応勾配法について概説する。
論文 参考訳(メタデータ) (2023-02-19T13:01:53Z) - Algorithmically Designed Artificial Neural Networks (ADANNs): Higher
order deep operator learning for parametric partial differential equations [2.1055643409860743]
パラメトリック偏微分方程式(PDE)を近似的に解くための新しいディープラーニング手法を提案する。
特に、特定の人工知能ニューラルネットワーク(ANN)アーキテクチャを設計するための新しい戦略を導入する。
パラメトリックPDEの場合のADANN手法を数値的に検証する。
論文 参考訳(メタデータ) (2023-02-07T06:39:20Z) - Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。
アクセシブルで実践的な視点からこのトピックを紹介します。
論文 参考訳(メタデータ) (2022-11-21T21:36:58Z) - Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。
本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。
NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-05-25T12:41:59Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳(メタデータ) (2022-05-03T07:54:56Z) - A Study of the Mathematics of Deep Learning [1.14219428942199]
深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。
この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
論文 参考訳(メタデータ) (2021-04-28T22:05:54Z) - Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。
このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。
CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
論文 参考訳(メタデータ) (2021-04-27T21:09:51Z) - Fusing the Old with the New: Learning Relative Camera Pose with
Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。
本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。
学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文 参考訳(メタデータ) (2021-04-16T17:59:06Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-06-09T07:22:01Z) - Structure preserving deep learning [1.2263454117570958]
深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。
ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。
既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
論文 参考訳(メタデータ) (2020-06-05T10:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。