論文の概要: Deep Randomized Neural Networks
- arxiv url: http://arxiv.org/abs/2002.12287v2
- Date: Tue, 2 Feb 2021 15:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:12:03.446256
- Title: Deep Randomized Neural Networks
- Title(参考訳): 深部ランダム化ニューラルネットワーク
- Authors: Claudio Gallicchio and Simone Scardapane
- Abstract要約: ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。
本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
- 参考スコア(独自算出の注目度): 12.333836441649343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Randomized Neural Networks explore the behavior of neural systems where the
majority of connections are fixed, either in a stochastic or a deterministic
fashion. Typical examples of such systems consist of multi-layered neural
network architectures where the connections to the hidden layer(s) are left
untrained after initialization. Limiting the training algorithms to operate on
a reduced set of weights inherently characterizes the class of Randomized
Neural Networks with a number of intriguing features. Among them, the extreme
efficiency of the resulting learning processes is undoubtedly a striking
advantage with respect to fully trained architectures. Besides, despite the
involved simplifications, randomized neural systems possess remarkable
properties both in practice, achieving state-of-the-art results in multiple
domains, and theoretically, allowing to analyze intrinsic properties of neural
architectures (e.g. before training of the hidden layers' connections). In
recent years, the study of Randomized Neural Networks has been extended towards
deep architectures, opening new research directions to the design of effective
yet extremely efficient deep learning models in vectorial as well as in more
complex data domains. This chapter surveys all the major aspects regarding the
design and analysis of Randomized Neural Networks, and some of the key results
with respect to their approximation capabilities. In particular, we first
introduce the fundamentals of randomized neural models in the context of
feed-forward networks (i.e., Random Vector Functional Link and equivalent
models) and convolutional filters, before moving to the case of recurrent
systems (i.e., Reservoir Computing networks). For both, we focus specifically
on recent results in the domain of deep randomized systems, and (for recurrent
models) their application to structured domains.
- Abstract(参考訳): ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの振る舞いを確率的または決定論的に探索する。
このようなシステムの典型的な例は、隠れた層への接続が初期化後に未訓練のまま残される多層ニューラルネットワークアーキテクチャである。
トレーニングアルゴリズムを減量セットで運用することを制限することは、本質的に、多くの興味深い特徴を持つランダム化されたニューラルネットワークのクラスを特徴付ける。
その中でも、学習プロセスの極端な効率性は、完全に訓練されたアーキテクチャに関して、間違いなく顕著な優位性である。
さらに、関連する単純化にもかかわらず、ランダム化されたニューラルネットワークは、実際の両方において顕著な特性を持ち、最先端の結果を複数のドメインで達成し、理論的には、ニューラルネットワークアーキテクチャ(例えば、隠れたレイヤの接続をトレーニングする前に)固有の特性を解析できる。
近年、ランダム化ニューラルネットワークの研究は深層アーキテクチャへと拡張され、ベクトルやより複雑なデータ領域において効率的かつ極めて効率的なディープラーニングモデルの設計に向けた新たな研究方向が開かれた。
本章では、ランダム化されたニューラルネットワークの設計と解析に関する主要な側面と、それらの近似能力に関する重要な結果について調査する。
特に,まず,ランダム化ニューラルモデルの基礎をフィードフォワードネットワーク(すなわち,ランダムベクトル汎関数リンクと等価モデル)と畳み込みフィルタ(英語版)(convolutional filter)の文脈で導入し,その後にリカレントシステム(すなわち貯水池計算ネットワーク)に移行した。
どちらの場合でも、深層ランダム化システムの領域における最近の結果と、その構造化ドメインへの(再帰モデルのための)適用に特に焦点を当てています。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。
ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。
2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文 参考訳(メタデータ) (2022-10-05T16:30:35Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳(メタデータ) (2022-08-11T20:17:02Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳(メタデータ) (2022-03-30T21:47:32Z) - Learning from Randomly Initialized Neural Network Features [24.75062551820944]
ランダムニューラルネットワークが期待できる特徴抽出器として優れているという驚くべき結果を示す。
これらのランダムな特徴は、本質的に無限次元であるニューラルネットワーク優先カーネル(NNPK)と呼ばれるものの有限サンプル化に対応する。
論文 参考訳(メタデータ) (2022-02-13T23:35:11Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳(メタデータ) (2021-03-01T03:10:11Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。
既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文 参考訳(メタデータ) (2020-07-09T13:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。