論文の概要: Recent advances in deep learning theory
- arxiv url: http://arxiv.org/abs/2012.10931v2
- Date: Thu, 11 Mar 2021 09:16:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 04:45:52.970696
- Title: Recent advances in deep learning theory
- Title(参考訳): 深層学習理論の最近の進歩
- Authors: Fengxiang He, Dacheng Tao
- Abstract要約: 本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。
文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
- 参考スコア(独自算出の注目度): 104.01582662336256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning is usually described as an experiment-driven field under
continuous criticizes of lacking theoretical foundations. This problem has been
partially fixed by a large volume of literature which has so far not been well
organized. This paper reviews and organizes the recent advances in deep
learning theory. The literature is categorized in six groups: (1) complexity
and capacity-based approaches for analyzing the generalizability of deep
learning; (2) stochastic differential equations and their dynamic systems for
modelling stochastic gradient descent and its variants, which characterize the
optimization and generalization of deep learning, partially inspired by
Bayesian inference; (3) the geometrical structures of the loss landscape that
drives the trajectories of the dynamic systems; (4) the roles of
over-parameterization of deep neural networks from both positive and negative
perspectives; (5) theoretical foundations of several special structures in
network architectures; and (6) the increasingly intensive concerns in ethics
and security and their relationships with generalizability.
- Abstract(参考訳): 深層学習は通常、理論的な基礎が欠如しているという批判の下で実験駆動の分野として記述される。
この問題は、まだ十分に整理されていない大量の文献によって部分的に解決されている。
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。
The literature is categorized in six groups: (1) complexity and capacity-based approaches for analyzing the generalizability of deep learning; (2) stochastic differential equations and their dynamic systems for modelling stochastic gradient descent and its variants, which characterize the optimization and generalization of deep learning, partially inspired by Bayesian inference; (3) the geometrical structures of the loss landscape that drives the trajectories of the dynamic systems; (4) the roles of over-parameterization of deep neural networks from both positive and negative perspectives; (5) theoretical foundations of several special structures in network architectures; and (6) the increasingly intensive concerns in ethics and security and their relationships with generalizability.
関連論文リスト
- Neurashed: A Phenomenological Model for Imitating Deep Learning Training [17.006003864727408]
将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。 階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。
我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
論文 参考訳(メタデータ) (2021-12-17T19:51:26Z) - Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。
平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。
提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文 参考訳(メタデータ) (2021-12-10T15:06:11Z) - Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。
動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
論文 参考訳(メタデータ) (2021-10-16T16:51:05Z) - Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。
我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。
これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
論文 参考訳(メタデータ) (2021-06-30T17:29:58Z) - The Modern Mathematics of Deep Learning [8.939008609565368]
深層学習の数学的解析の新しい分野について述べる。
この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。
選択されたアプローチについては、主なアイデアをより詳細に説明します。
論文 参考訳(メタデータ) (2021-05-09T21:30:42Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。
私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
論文 参考訳(メタデータ) (2020-06-24T00:26:35Z) - Structure preserving deep learning [1.2263454117570958]
深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。
ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。
既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
論文 参考訳(メタデータ) (2020-06-05T10:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。