論文の概要: Geometry Perspective Of Estimating Learning Capability Of Neural Networks

• arxiv url: http://arxiv.org/abs/2011.04588v2
• Date: Tue, 1 Dec 2020 07:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:34:58.911624
• Title: Geometry Perspective Of Estimating Learning Capability Of Neural Networks
• Title（参考訳）: ニューラルネットワークの学習能力を推定する幾何学的視点
• Authors: Ankan Dutta and Arnab Rakshit
• Abstract要約: 本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。 一般化能力とニューラルネットワークの安定性との関係についても論じている。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The paper uses statistical and differential geometric motivation to acquire prior information about the learning capability of an artificial neural network on a given dataset. The paper considers a broad class of neural networks with generalized architecture performing simple least square regression with stochastic gradient descent (SGD). The system characteristics at two critical epochs in the learning trajectory are analyzed. During some epochs of the training phase, the system reaches equilibrium with the generalization capability attaining a maximum. The system can also be coherent with localized, non-equilibrium states, which is characterized by the stabilization of the Hessian matrix. The paper proves that neural networks with higher generalization capability will have a slower convergence rate. The relationship between the generalization capability with the stability of the neural network has also been discussed. By correlating the principles of high-energy physics with the learning theory of neural networks, the paper establishes a variant of the Complexity-Action conjecture from an artificial neural network perspective.
• Abstract（参考訳）: 本論文は、統計的および微分幾何学的モチベーションを用いて、与えられたデータセット上の人工ニューラルネットワークの学習能力に関する事前情報を取得する。 本稿では,確率勾配勾配(SGD)を用いた最小二乗回帰を一般化したニューラルネットワークの幅広いクラスについて考察する。 学習軌跡における2つの臨界エポックにおけるシステム特性を解析した。 トレーニングフェーズのいくつかのエポックの間、システムは最大となる一般化能力と平衡に達する。 この系は、ヘッセン行列の安定化を特徴とする局所的非平衡状態ともコヒーレントにすることができる。 一般化能力の高いニューラルネットワークが収束速度を遅くすることを示す。 一般化能力とニューラルネットワークの安定性との関係についても考察した。 ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Nonlinear classification of neural manifolds with contextual information [6.292933471495322]
  多様体容量は、人口幾何学とニューラル多様体の分離性とを結びつける有望な枠組みとして出現している。 本稿では,文脈入力情報を活用することによって,この制限を克服する理論的枠組みを提案する。 我々のフレームワークの表現性の向上は、階層階層の初期段階のディープネットワークにおける表現アンハングメントをキャプチャするが、以前は分析にはアクセスできない。
  論文  参考訳（メタデータ） (2024-05-10T23:37:31Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learn Like The Pro: Norms from Theory to Size Neural Computation [3.848947060636351]
  非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。 本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。 連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-21T20:58:27Z)
• Explainable artificial intelligence for mechanics: physics-informing neural networks for constitutive models [0.0]
  メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。 本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。 これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
  論文  参考訳（メタデータ） (2021-04-20T18:38:52Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Mastering high-dimensional dynamics with Hamiltonian neural networks [0.0]
  マップ・ビルディング・パースペクティブは、従来のニューラルネットワークよりもハミルトニアン・ニューラル・ネットワークの優位性を解明する。 その結果、データ、次元、ニューラルネットワーク学習性能の臨界関係を明らかにした。
  論文  参考訳（メタデータ） (2020-07-28T21:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。