論文の概要: Neurashed: A Phenomenological Model for Imitating Deep Learning Training

• arxiv url: http://arxiv.org/abs/2112.09741v1
• Date: Fri, 17 Dec 2021 19:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 08:20:53.892579
• Title: Neurashed: A Phenomenological Model for Imitating Deep Learning Training
• Title（参考訳）: Neurashed: ディープラーニングトレーニングの省力化のための現象モデル
• Authors: Weijie J. Su
• Abstract要約: 将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。 階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。 我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
• 参考スコア（独自算出の注目度）: 17.006003864727408
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To advance deep learning methodologies in the next decade, a theoretical framework for reasoning about modern neural networks is needed. While efforts are increasing toward demystifying why deep learning is so effective, a comprehensive picture remains lacking, suggesting that a better theory is possible. We argue that a future deep learning theory should inherit three characteristics: a \textit{hierarchically} structured network architecture, parameters \textit{iteratively} optimized using stochastic gradient-based methods, and information from the data that evolves \textit{compressively}. As an instantiation, we integrate these characteristics into a graphical model called \textit{neurashed}. This model effectively explains some common empirical patterns in deep learning. In particular, neurashed enables insights into implicit regularization, information bottleneck, and local elasticity. Finally, we discuss how neurashed can guide the development of deep learning theories.
• Abstract（参考訳）: 今後10年間にディープラーニングの方法論を進歩させるためには、現代のニューラルネットワークを推論するための理論的枠組みが必要である。 深層学習がなぜこれほど効果的であるかを謎解き明かす努力が増えているが、総合的なイメージは依然として欠如しており、より良い理論が可能であることを示唆している。 将来のディープラーニング理論は、3つの特性を継承すべきであると主張する: \textit{hierarchically}構造化ネットワークアーキテクチャ、確率的勾配に基づく手法で最適化されたパラメータ \textit{iteratively}、および \textit{compressively}を進化させるデータからの情報。 インスタンス化として、これらの特性を \textit{neurashed} と呼ばれるグラフィカルモデルに統合する。 このモデルは、ディープラーニングにおける一般的な経験的パターンを効果的に説明します。 特に、neurashedは暗黙の正規化、情報のボトルネック、局所的な弾力性についての洞察を可能にする。 最後に,ニューロッシュドが深層学習理論の発展をいかに導くかについて議論する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning [14.909298522361306]
  ノートは、深層学習の数学的理解に関するプリンストン大学の上級講座の一部として、2021年3月にNCが行った講義に基づいている。 彼らは線形ニューラルネットワークの理論(NC、NR、共同研究者によって開発された)を提示し、ディープラーニングの最適化と一般化の研究における基礎モデルである。
  論文  参考訳（メタデータ） (2024-08-25T08:24:48Z)
• Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
  グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。 グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。 本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
  論文  参考訳（メタデータ） (2024-07-03T14:07:41Z)
• Applying statistical learning theory to deep learning [21.24637996678039]
  これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。 良心過剰の文脈における暗黙の偏見について論じる。 本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
  論文  参考訳（メタデータ） (2023-11-26T20:00:53Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)
• Recent advances in deep learning theory [104.01582662336256]
  本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。 文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
  論文  参考訳（メタデータ） (2020-12-20T14:16:41Z)
• Deep Learning is Singular, and That's Good [31.985399645173022]
  特異モデルにおいて、パラメータの最適集合は特異点を持つ解析集合を形成し、古典的な統計的推論は適用できない。 これは、ニューラルネットワークが特異であり、ヘッセンの行列式やラプラス近似を用いた場合の「分割」が適切でないため、ディープラーニングにとって重要である。 深層学習の根本的な問題に対処する可能性にもかかわらず、特異学習理論は深層学習理論の発達過程にほとんど浸透しなかったようである。
  論文  参考訳（メタデータ） (2020-10-22T09:33:59Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。