論文の概要: The Modern Mathematics of Deep Learning

• arxiv url: http://arxiv.org/abs/2105.04026v1
• Date: Sun, 9 May 2021 21:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:15:54.319872
• Title: The Modern Mathematics of Deep Learning
• Title（参考訳）: ディープラーニングの現代数学
• Authors: Julius Berner, Philipp Grohs, Gitta Kutyniok, Philipp Petersen
• Abstract要約: 深層学習の数学的解析の新しい分野について述べる。 この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。 選択されたアプローチについては、主なアイデアをより詳細に説明します。
• 参考スコア（独自算出の注目度）: 8.939008609565368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe the new field of mathematical analysis of deep learning. This field emerged around a list of research questions that were not answered within the classical framework of learning theory. These questions concern: the outstanding generalization power of overparametrized neural networks, the role of depth in deep architectures, the apparent absence of the curse of dimensionality, the surprisingly successful optimization performance despite the non-convexity of the problem, understanding what features are learned, why deep architectures perform exceptionally well in physical problems, and which fine aspects of an architecture affect the behavior of a learning task in which way. We present an overview of modern approaches that yield partial answers to these questions. For selected approaches, we describe the main ideas in more detail.
• Abstract（参考訳）: 深層学習の数学的解析の新しい分野について述べる。 この分野は、古典的学習理論の枠組みでは答えられていない研究質問のリストを中心に出現した。 過剰パラメータ化されたニューラルネットワークの卓越した一般化能力、深層アーキテクチャにおける奥行きの役割、次元の呪いの明らかな欠如、問題の非凸性にも拘わらず驚くほどの最適化性能、どの特徴が学習されているかを理解し、なぜ深いアーキテクチャが物理的問題において異常によく機能するのか、アーキテクチャの微妙な側面が学習タスクの振る舞いにどのような影響を及ぼすのか、といった疑問である。 これらの疑問に部分的に答える近代的アプローチの概要を述べる。 選択されたアプローチに対しては、主要なアイデアをより詳細に記述する。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Theoretical Perspectives on Deep Learning Methods in Inverse Problems [115.93934028666845]
  我々は、生成前の先行、訓練されていないニューラルネットワークの先行、および展開アルゴリズムに焦点を当てる。 これらのトピックにおける既存の結果の要約に加えて、現在進行中の課題やオープンな問題も強調する。
  論文  参考訳（メタデータ） (2022-06-29T02:37:50Z)
• Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning [1.0323063834827413]
  本稿では、最適計画模倣により、状態空間の遠い部分に関連する能力を学ぶためのネットワークモデルを提案する。 難易度の増加に伴う問題の創出における手法の限界に対処するために,新たに解決した問題インスタンスをトレーニングセットに追加するカリキュラム学習の利用を実演する。
  論文  参考訳（メタデータ） (2021-12-03T14:01:16Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Recent advances in deep learning theory [104.01582662336256]
  本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。 文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
  論文  参考訳（メタデータ） (2020-12-20T14:16:41Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)
• Generalization in Deep Learning [103.91623583928852]
  本稿では,その容量,複雑性,アルゴリズムの不安定性,非破壊性,およびシャープなミニマにもかかわらず,ディープラーニングがなぜ,どのように一般化できるかに関する理論的知見を提供する。 また、ディープラーニングのための非空でない一般化保証を提供するためのアプローチについても論じる。
  論文  参考訳（メタデータ） (2017-10-16T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。