論文の概要: Recursive Construction of Stable Assemblies of Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2106.08928v1
- Date: Wed, 16 Jun 2021 16:35:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 21:27:42.400811
- Title: Recursive Construction of Stable Assemblies of Recurrent Neural Networks
- Title（参考訳）: リカレントニューラルネットワークの安定集合体の再帰的構築
- Authors: Michaela Ennis, Leo Kozachkov, Jean-Jacques Slotine
- Abstract要約: 機械学習の高度な応用には、訓練されたネットワークの組み合わせが含まれるだろう。
本稿では、非線形リカレントネットワークとニューラルODEの幅広いクラスにおける収縮特性を確立することにより、この方向への一歩を踏み出す。
結果は、リカレントネットワークと物理システムと定量化された収縮特性を組み合わせるために使用できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advanced applications of modern machine learning will likely involve
combinations of trained networks, as are already used in spectacular systems
such as DeepMind's AlphaGo. Recursively building such combinations in an
effective and stable fashion while also allowing for continual refinement of
the individual networks - as nature does for biological networks - will require
new analysis tools. This paper takes a step in this direction by establishing
contraction properties of broad classes of nonlinear recurrent networks and
neural ODEs, and showing how these quantified properties allow in turn to
recursively construct stable networks of networks in a systematic fashion. The
results can also be used to stably combine recurrent networks and physical
systems with quantified contraction properties. Similarly, they may be applied
to modular computational models of cognition.
- Abstract（参考訳）: 現代の機械学習の高度な応用は、すでにDeepMindのAlphaGoのような壮大なシステムで使われているように、トレーニングされたネットワークの組み合わせを含む可能性が高い。
このような組み合わせを効果的かつ安定した方法で再帰的に構築すると同時に、個々のネットワーク(自然が生物学的ネットワークに対して行うように)の継続的な改善を可能にするためには、新たな分析ツールが必要である。
本稿では、非線形リカレントネットワークとニューラルODEの幅広いクラスの縮約特性を確立し、これらの定量化特性によって、ネットワークの安定なネットワークを系統的に再帰的に構築できることを示す。
この結果は、再帰ネットワークと物理システムと量子化収縮特性を安定的に結合するためにも利用できる。
同様に、それらは認知のモジュラー計算モデルにも適用できる。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Symbolic Regression of Dynamic Network Models [0.0]
ネットワーク生成器の新たな定式化とパラメータフリー適合関数を導入し、生成されたネットワークを評価する。
我々は、時間変化ネットワークのルールを作成し、検索するためにジェネレータのセマンティクスを変更することで、このアプローチを拡張した。
このフレームワークは、主要都市の地下鉄ネットワーク、ストリートネットワークの地域、人工知能における文学のセマンティック共起ネットワークの3つの経験的なデータセットで使用された。
論文 参考訳（メタデータ） (2023-12-15T00:34:45Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems [9.382423715831687]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文 参考訳（メタデータ） (2022-09-22T10:32:08Z) - Dimensionality Reduction in Deep Learning via Kronecker Multi-layer
Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。
このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文 参考訳（メタデータ） (2022-04-08T19:54:52Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳（メタデータ） (2020-03-24T00:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。