論文の概要: Learn Like The Pro: Norms from Theory to Size Neural Computation
- arxiv url: http://arxiv.org/abs/2106.11409v1
- Date: Mon, 21 Jun 2021 20:58:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-24 06:02:37.989002
- Title: Learn Like The Pro: Norms from Theory to Size Neural Computation
- Title（参考訳）: proのように学ぶ: 理論から大きさへの規範
- Authors: Margaret Trautner and Ziwei Li and Sai Ravela
- Abstract要約: 非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。
本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。
連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
- 参考スコア（独自算出の注目度）: 3.848947060636351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimal design of neural networks is a critical problem in many
applications. Here, we investigate how dynamical systems with polynomial
nonlinearities can inform the design of neural systems that seek to emulate
them. We propose a Learnability metric and its associated features to quantify
the near-equilibrium behavior of learning dynamics. Equating the Learnability
of neural systems with equivalent parameter estimation metric of the reference
system establishes bounds on network structure. In this way, norms from theory
provide a good first guess for neural structure, which may then further adapt
with data. The proposed approach neither requires training nor training data.
It reveals exact sizing for a class of neural networks with multiplicative
nodes that mimic continuous- or discrete-time polynomial dynamics. It also
provides relatively tight lower size bounds for classical feed-forward networks
that is consistent with simulated assessments.
- Abstract（参考訳）: ニューラルネットワークの最適設計は多くのアプリケーションにおいて重要な問題である。
本稿では, 非線形非線形性を持つ力学系が, それらをエミュレートする神経系の設計にどう影響するかを考察する。
本稿では,学習力学の近平衡挙動を定量化する学習可能性尺度とその関連特徴について述べる。
参照システムの等価パラメータ推定メトリックとニューラルネットワークの学習可能性の同等性は、ネットワーク構造の境界を確立する。
このようにして、理論からの規範は、神経構造のよい最初の推測を提供し、さらにデータに適応するかもしれない。
提案手法ではトレーニングデータもトレーニングデータも不要である。
これは、連続あるいは離散時間多項式ダイナミクスを模倣する乗算ノードを持つニューラルネットワークのクラスに対する正確なサイズを示す。
また、シミュレーションによる評価と整合する古典的なフィードフォワードネットワークに対して、比較的狭いサイズ制限を提供する。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳（メタデータ） (2022-08-11T20:17:02Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Geometry Perspective Of Estimating Learning Capability Of Neural
Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。
一般化能力とニューラルネットワークの安定性との関係についても論じている。
ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文 参考訳（メタデータ） (2020-11-03T12:03:19Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。