論文の概要: Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory

• arxiv url: http://arxiv.org/abs/2310.20360v1
• Date: Tue, 31 Oct 2023 11:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 15:32:49.285053
• Title: Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory
• Title（参考訳）: 深層学習への数学的導入:方法、実装、理論
• Authors: Arnulf Jentzen, Benno Kuckuck, Philippe von Wurstemberger
• Abstract要約: この本は、ディープラーニングアルゴリズムのトピックについて紹介することを目的としている。 本稿では,ディープラーニングアルゴリズムの本質的構成要素を数学的に詳細に概説する。
• 参考スコア（独自算出の注目度）: 4.066869900592636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This book aims to provide an introduction to the topic of deep learning algorithms. We review essential components of deep learning algorithms in full mathematical detail including different artificial neural network (ANN) architectures (such as fully-connected feedforward ANNs, convolutional ANNs, recurrent ANNs, residual ANNs, and ANNs with batch normalization) and different optimization algorithms (such as the basic stochastic gradient descent (SGD) method, accelerated methods, and adaptive methods). We also cover several theoretical aspects of deep learning algorithms such as approximation capacities of ANNs (including a calculus for ANNs), optimization theory (including Kurdyka-{\L}ojasiewicz inequalities), and generalization errors. In the last part of the book some deep learning approximation methods for PDEs are reviewed including physics-informed neural networks (PINNs) and deep Galerkin methods. We hope that this book will be useful for students and scientists who do not yet have any background in deep learning at all and would like to gain a solid foundation as well as for practitioners who would like to obtain a firmer mathematical understanding of the objects and methods considered in deep learning.
• Abstract（参考訳）: 本書は,ディープラーニングアルゴリズムの話題を紹介することを目的としている。 本稿では,ニューラルネットワーク(ANN)アーキテクチャ(完全連結フィードフォワードANN,畳み込みANN,残差ANN,バッチ正規化ANNなど)や最適化アルゴリズム(基本確率勾配降下法(SGD)法,高速化法,適応法など)を含む,ディープラーニングアルゴリズムの基本成分について検討する。 また,annの近似容量(annの計算を含む),最適化理論(kurdyka-{\l}ojasiewicz不等式を含む),一般化誤差など,ディープラーニングアルゴリズムのいくつかの理論的側面についても取り上げる。 書籍の最後のパートでは、物理学的インフォームドニューラルネットワーク(pinns)やdeep galerkinメソッドを含む、pdesのディープラーニング近似手法が紹介されている。 深層学習の背景を全く持たず、しっかりとした基礎を築きたい学生や科学者や、深層学習で考慮された対象や方法の数学的理解をしっかりとした数学的理解を得たい実践者にとって、この本が役立つことを願っている。

関連論文リスト

• Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning [14.909298522361306]
  ノートは、深層学習の数学的理解に関するプリンストン大学の上級講座の一部として、2021年3月にNCが行った講義に基づいている。 彼らは線形ニューラルネットワークの理論(NC、NR、共同研究者によって開発された)を提示し、ディープラーニングの最適化と一般化の研究における基礎モデルである。
  論文  参考訳（メタデータ） (2024-08-25T08:24:48Z)
• An Overview on Machine Learning Methods for Partial Differential Equations: from Physics Informed Neural Networks to Deep Operator Learning [5.75055574132362]
  数値アルゴリズムによる偏微分方程式の解の近似は、応用数学における中心的なトピックである。 近年多くの注目を集めている手法の1つは、機械学習に基づく手法である。 本稿では,これらの手法の紹介と,それらに基づく数学的理論について述べる。
  論文  参考訳（メタデータ） (2024-08-23T16:57:34Z)
• Artificial Neural Network and Deep Learning: Fundamentals and Theory [0.0]
  この本は、データと確率分布を理解するための確固たる基礎を定めている。 この本は多層フィードフォワードニューラルネットワークに発展し、アーキテクチャ、トレーニングプロセス、バックプロパゲーションアルゴリズムを説明する。 テキストは様々な学習率スケジュールと適応アルゴリズムをカバーし、トレーニングプロセスを最適化するための戦略を提供する。
  論文  参考訳（メタデータ） (2024-08-12T21:06:59Z)
• Deep Learning and Geometric Deep Learning: an introduction for mathematicians and physicists [0.0]
  本稿では,Deep LearningとGeometric Deep Learningの新たな成功アルゴリズムの内部機能について論じる。 これらのアルゴリズムの主要な要素であるスコアと損失関数について検討し、モデルのトレーニングにおける主要なステップを説明します。 Kullback-Leibler分散、回帰、多層パーセプトロン、ユニバーサル近似理論について議論する。
  論文  参考訳（メタデータ） (2023-05-09T16:50:36Z)
• Algorithmically Designed Artificial Neural Networks (ADANNs): Higher order deep operator learning for parametric partial differential equations [5.052293146674794]
  偏パラメトリック微分方程式(PDE)に関連する近似演算子に対する新しい深層学習手法を提案する。 提案手法では,高速な古典的数値近似手法と深層演算子学習手法を併用する。 いくつかのパラメトリックPDEの場合,提案手法を数値的に検証する。
  論文  参考訳（メタデータ） (2023-02-07T06:39:20Z)
• Bayesian Learning for Neural Networks: an algorithmic survey [95.42181254494287]
  この自己完結型調査は、ベイズ学習ニューラルネットワークの原理とアルゴリズムを読者に紹介する。 アクセシブルで実践的な視点からこのトピックを紹介します。
  論文  参考訳（メタデータ） (2022-11-21T21:36:58Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
  本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。 性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
  論文  参考訳（メタデータ） (2022-05-03T07:54:56Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
  本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。 本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。 学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-16T17:59:06Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。