論文の概要: Deep Randomized Neural Networks

• arxiv url: http://arxiv.org/abs/2002.12287v2
• Date: Tue, 2 Feb 2021 15:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:12:03.446256
• Title: Deep Randomized Neural Networks
• Title（参考訳）: 深部ランダム化ニューラルネットワーク
• Authors: Claudio Gallicchio and Simone Scardapane
• Abstract要約: ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
• 参考スコア（独自算出の注目度）: 12.333836441649343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomized Neural Networks explore the behavior of neural systems where the majority of connections are fixed, either in a stochastic or a deterministic fashion. Typical examples of such systems consist of multi-layered neural network architectures where the connections to the hidden layer(s) are left untrained after initialization. Limiting the training algorithms to operate on a reduced set of weights inherently characterizes the class of Randomized Neural Networks with a number of intriguing features. Among them, the extreme efficiency of the resulting learning processes is undoubtedly a striking advantage with respect to fully trained architectures. Besides, despite the involved simplifications, randomized neural systems possess remarkable properties both in practice, achieving state-of-the-art results in multiple domains, and theoretically, allowing to analyze intrinsic properties of neural architectures (e.g. before training of the hidden layers' connections). In recent years, the study of Randomized Neural Networks has been extended towards deep architectures, opening new research directions to the design of effective yet extremely efficient deep learning models in vectorial as well as in more complex data domains. This chapter surveys all the major aspects regarding the design and analysis of Randomized Neural Networks, and some of the key results with respect to their approximation capabilities. In particular, we first introduce the fundamentals of randomized neural models in the context of feed-forward networks (i.e., Random Vector Functional Link and equivalent models) and convolutional filters, before moving to the case of recurrent systems (i.e., Reservoir Computing networks). For both, we focus specifically on recent results in the domain of deep randomized systems, and (for recurrent models) their application to structured domains.
• Abstract（参考訳）: ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの振る舞いを確率的または決定論的に探索する。 このようなシステムの典型的な例は、隠れた層への接続が初期化後に未訓練のまま残される多層ニューラルネットワークアーキテクチャである。 トレーニングアルゴリズムを減量セットで運用することを制限することは、本質的に、多くの興味深い特徴を持つランダム化されたニューラルネットワークのクラスを特徴付ける。 その中でも、学習プロセスの極端な効率性は、完全に訓練されたアーキテクチャに関して、間違いなく顕著な優位性である。 さらに、関連する単純化にもかかわらず、ランダム化されたニューラルネットワークは、実際の両方において顕著な特性を持ち、最先端の結果を複数のドメインで達成し、理論的には、ニューラルネットワークアーキテクチャ(例えば、隠れたレイヤの接続をトレーニングする前に)固有の特性を解析できる。 近年、ランダム化ニューラルネットワークの研究は深層アーキテクチャへと拡張され、ベクトルやより複雑なデータ領域において効率的かつ極めて効率的なディープラーニングモデルの設計に向けた新たな研究方向が開かれた。 本章では、ランダム化されたニューラルネットワークの設計と解析に関する主要な側面と、それらの近似能力に関する重要な結果について調査する。 特に,まず,ランダム化ニューラルモデルの基礎をフィードフォワードネットワーク(すなわち,ランダムベクトル汎関数リンクと等価モデル)と畳み込みフィルタ(英語版)(convolutional filter)の文脈で導入し,その後にリカレントシステム(すなわち貯水池計算ネットワーク)に移行した。 どちらの場合でも、深層ランダム化システムの領域における最近の結果と、その構造化ドメインへの(再帰モデルのための)適用に特に焦点を当てています。

関連論文リスト

• Hybrid deep additive neural networks [0.0]
  加算回帰という概念を取り入れた新しいディープニューラルネットワークを導入する。 我々のニューラルネットワークは、Kolmogorov-Arnoldネットワークとアーキテクチャ上の類似点を共有しているが、よりシンプルで柔軟なアクティベーションと基底関数に基づいている。 我々はそれらの普遍近似特性を導出し、シミュレーション研究と実データ応用を通してその効果を実証する。
  論文  参考訳（メタデータ） (2024-11-14T04:26:47Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Learning from Randomly Initialized Neural Network Features [24.75062551820944]
  ランダムニューラルネットワークが期待できる特徴抽出器として優れているという驚くべき結果を示す。 これらのランダムな特徴は、本質的に無限次元であるニューラルネットワーク優先カーネル(NNPK)と呼ばれるものの有限サンプル化に対応する。
  論文  参考訳（メタデータ） (2022-02-13T23:35:11Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Expressivity of Deep Neural Networks [2.7909470193274593]
  本稿では,ニューラルネットワークの様々な近似結果について概説する。 既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
  論文  参考訳（メタデータ） (2020-07-09T13:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。