論文の概要: Random vector functional link network: recent developments,
applications, and future directions
- arxiv url: http://arxiv.org/abs/2203.11316v2
- Date: Sun, 23 Apr 2023 17:53:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 00:33:24.023408
- Title: Random vector functional link network: recent developments,
applications, and future directions
- Title（参考訳）: ランダムベクトル関数型リンクネットワーク : 最近の展開, 応用, 今後の展開
- Authors: A. K. Malik, Ruobin Gao, M.A. Ganaie, M. Tanveer, P.N. Suganthan
- Abstract要約: 乱数ベクトル汎関数リンク(RVFL)ネットワークのようなランダム化に基づくニューラルネットワークが提案されている。
RVFLモデルには、高速トレーニング速度、ダイレクトリンク、シンプルなアーキテクチャ、普遍近似機能など、いくつかの特徴がある。
本稿では RVFL モデルの進化を包括的に概観する。
- 参考スコア（独自算出の注目度）: 5.2848042940993345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks have been successfully employed in various domains such as
classification, regression and clustering, etc. Generally, the back propagation
(BP) based iterative approaches are used to train the neural networks, however,
it results in the issues of local minima, sensitivity to learning rate and slow
convergence. To overcome these issues, randomization based neural networks such
as random vector functional link (RVFL) network have been proposed. RVFL model
has several characteristics such as fast training speed, direct links, simple
architecture, and universal approximation capability, that make it a viable
randomized neural network. This article presents the first comprehensive review
of the evolution of RVFL model, which can serve as the extensive summary for
the beginners as well as practitioners. We discuss the shallow RVFLs, ensemble
RVFLs, deep RVFLs and ensemble deep RVFL models. The variations, improvements
and applications of RVFL models are discussed in detail. Moreover, we discuss
the different hyperparameter optimization techniques followed in the literature
to improve the generalization performance of the RVFL model. Finally, we give
potential future research directions/opportunities that can inspire the
researchers to improve the RVFL's architecture and learning algorithm further.
- Abstract（参考訳）: ニューラルネットワークは、分類、回帰、クラスタリングなど、さまざまな領域でうまく採用されている。
一般に、バックプロパゲーション(BP)に基づく反復的アプローチはニューラルネットワークのトレーニングに使用されるが、これは局所的なミニマの問題、学習速度への感受性、緩やかな収束をもたらす。
これらの問題を解決するために、乱数ベクトル汎関数リンク(RVFL)ネットワークのようなランダム化に基づくニューラルネットワークが提案されている。
rvflモデルには、高速トレーニング速度、ダイレクトリンク、単純なアーキテクチャ、普遍近似能力などいくつかの特徴があり、実行可能なランダム化ニューラルネットワークとなっている。
本稿では、RVFLモデルの進化を包括的に概観し、初心者だけでなく実践者にとっても広範な要約として役立てることができる。
本稿では,浅いRVFL,深部RVFL,深部RVFL,深部RVFLモデルについて議論する。
rvflモデルのバリエーション、改良、応用について詳述する。
さらに, RVFLモデルの一般化性能を向上させるために, 各種ハイパーパラメータ最適化手法について検討した。
最後に,RVFLのアーキテクチャと学習アルゴリズムをさらに改良するために研究者に刺激を与える,将来的な研究の方向性/機会を与える。
関連論文リスト
- Neural Networks for Vehicle Routing Problem [0.0]
ルート最適化はニューラルネットワークの新たな課題と見なすことができる。
機械学習の最近の進歩は、複雑な問題に対処するための新しいツールセットを提供する。
ニューラルネットワークを応用する主な領域は、分類と回帰の領域である。
論文 参考訳（メタデータ） (2024-09-17T15:45:30Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳（メタデータ） (2023-02-20T19:33:38Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。
予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。
本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
論文 参考訳（メタデータ） (2021-04-12T23:19:49Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。