論文の概要: Mathematical Models of Overparameterized Neural Networks

• arxiv url: http://arxiv.org/abs/2012.13982v1
• Date: Sun, 27 Dec 2020 17:48:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 20:16:22.163650
• Title: Mathematical Models of Overparameterized Neural Networks
• Title（参考訳）: 過パラメータニューラルネットワークの数学的モデル
• Authors: Cong Fang and Hanze Dong and Tong Zhang
• Abstract要約: 我々は,2層ニューラルネットワークの解析に焦点をあて,重要な数学的モデルを説明する。 次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。
• 参考スコア（独自算出の注目度）: 25.329225766892126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has received considerable empirical successes in recent years. However, while many ad hoc tricks have been discovered by practitioners, until recently, there has been a lack of theoretical understanding for tricks invented in the deep learning literature. Known by practitioners that overparameterized neural networks are easy to learn, in the past few years there have been important theoretical developments in the analysis of overparameterized neural networks. In particular, it was shown that such systems behave like convex systems under various restricted settings, such as for two-layer NNs, and when learning is restricted locally in the so-called neural tangent kernel space around specialized initializations. This paper discusses some of these recent progresses leading to significant better understanding of neural networks. We will focus on the analysis of two-layer neural networks, and explain the key mathematical models, with their algorithmic implications. We will then discuss challenges in understanding deep neural networks and some current research directions.
• Abstract（参考訳）: 近年、深層学習は実証的な成功を収めている。 しかし、多くのアドホックなトリックが実践者によって発見されている一方で、近年まで深層学習文学で考案されたトリックの理論的な理解が欠如している。 過パラメータニューラルネットワークは学習しやすいという実践者によって知られているが、過去数年間、過パラメータニューラルネットワークの分析において重要な理論的発展があった。 特に,2層nnなどの様々な制約条件下では,そのようなシステムは凸系のように振る舞うことが示され,学習が特殊な初期化に関するいわゆる神経接核空間において局所的に制限されている。 本稿では,ニューラルネットワークの理解を深める上での最近の進歩について論じる。 我々は,2層ニューラルネットワークの解析に注目し,そのアルゴリズム的意味から,重要な数学的モデルを説明する。 次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。

関連論文リスト

• Emergent weight morphologies in deep neural networks [0.0]
  深層ニューラルネットワークのトレーニングは、トレーニングデータとは無関係に、創発的な重量形態を生じさせることを示す。 我々の研究は、ディープニューラルネットワークのトレーニングの出現を示し、ディープニューラルネットワークの達成可能なパフォーマンスに影響を与える。
  論文  参考訳（メタデータ） (2025-01-09T19:48:51Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
  データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。 このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。 このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
  論文  参考訳（メタデータ） (2023-01-23T17:16:21Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Explainable artificial intelligence for mechanics: physics-informing neural networks for constitutive models [0.0]
  メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。 本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。 これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
  論文  参考訳（メタデータ） (2021-04-20T18:38:52Z)
• On Interpretability of Artificial Neural Networks: A Survey [21.905647127437685]
  我々は、ニューラルネットワークのメカニズムを理解するための最近の研究を体系的にレビューし、特に医学における解釈可能性の応用について述べる。 本稿では,ファジィ論理や脳科学などの解釈可能性研究の今後の方向性について論じる。
  論文  参考訳（メタデータ） (2020-01-08T13:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。