論文の概要: Deeper Insights into Learning Performance of Stochastic Configuration Networks
- arxiv url: http://arxiv.org/abs/2411.08544v1
- Date: Wed, 13 Nov 2024 11:45:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:11:25.228343
- Title: Deeper Insights into Learning Performance of Stochastic Configuration Networks
- Title（参考訳）: 確率的構成ネットワークの学習性能に関するより深い視点
- Authors: Xiufeng Yan, Dianhui Wang,
- Abstract要約: SCN(Configuration Networks)は、ランダム化されたアルゴリズムをインクリメンタル学習フレームワークに組み込む、ランダム化されたニューラルネットワークのクラスである。
SCNの学習性能に及ぼす監督機構の影響を包括的に分析する。
そこで本研究では,隠れ層の出力行列を評価する手法を提案する。
- 参考スコア（独自算出の注目度）: 3.8719670789415925
- License:
- Abstract: Stochastic Configuration Networks (SCNs) are a class of randomized neural networks that integrate randomized algorithms within an incremental learning framework. A defining feature of SCNs is the supervisory mechanism, which adaptively adjusts the distribution to generate effective random basis functions, thereby enabling error-free learning. In this paper, we present a comprehensive analysis of the impact of the supervisory mechanism on the learning performance of SCNs. Our findings reveal that the current SCN framework evaluates the effectiveness of each random basis function in reducing residual errors using a lower bound on its error reduction potential, which constrains SCNs' overall learning efficiency. Specifically, SCNs may fail to consistently select the most effective random candidate as the new basis function during each training iteration. To overcome this problem, we propose a novel method for evaluating the hidden layer's output matrix, supported by a new supervisory mechanism that accurately assesses the error reduction potential of random basis functions without requiring the computation of the Moore-Penrose inverse of the output matrix. This approach enhances the selection of basis functions, reducing computational complexity and improving the overall scalability and learning capabilities of SCNs. We introduce a Recursive Moore-Penrose Inverse-SCN (RMPI-SCN) training scheme based on the new supervisory mechanism and demonstrate its effectiveness through simulations over some benchmark datasets. Experiments show that RMPI-SCN outperforms the conventional SCN in terms of learning capability, underscoring its potential to advance the SCN framework for large-scale data modeling applications.
- Abstract（参考訳）: Stochastic Configuration Networks (SCN) は、ランダム化されたアルゴリズムを漸進的な学習フレームワークに統合するランダム化されたニューラルネットワークのクラスである。
SCNの定義的特徴は、分散を適応的に調整して効果的なランダム基底関数を生成し、エラーのない学習を可能にする監督機構である。
本稿では,SCNの学習性能に及ぼす監督機構の影響を包括的に分析する。
その結果,現在のSCNフレームワークは,残差誤差を低減するために,SCNの全体的な学習効率を制約する誤差低減係数を低く抑えるために,各ランダム基底関数の有効性を評価できることがわかった。
具体的には、SCNはトレーニングイテレーション毎に新しい基底関数として最も効果的なランダム候補を一貫して選択できない可能性がある。
そこで本研究では,提案手法を適用すれば,出力行列のムーア-ペンローズ逆数計算を必要とせずに,ランダム基底関数の誤差低減ポテンシャルを正確に評価できる新しいスーパーバイザ機構により,隠れ層の出力行列を評価する方法を提案する。
このアプローチは、基底関数の選択を強化し、計算複雑性を減らし、SCNの全体的なスケーラビリティと学習能力を改善する。
本稿では,新しいスーパーバイザ機構に基づく再帰的ムーアペンローズ逆SCN(RMPI-SCN)トレーニングスキームを導入し,ベンチマークデータセットのシミュレーションによりその効果を実証する。
実験により、RMPI-SCNは学習能力において従来のSCNよりも優れており、大規模データモデリングアプリケーションのためのSCNフレームワークを前進させる可能性を示している。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Composite FORCE learning of chaotic echo state networks for time-series
prediction [7.650966670809372]
本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。
その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
論文 参考訳（メタデータ） (2022-07-06T03:44:09Z) - SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。
各ブロックの推測は最適化の単一イテレーションに対応することを示す。
実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
論文 参考訳（メタデータ） (2022-05-26T08:17:39Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳（メタデータ） (2022-05-26T07:07:26Z) - Interpretable Design of Reservoir Computing Networks using Realization
Theory [5.607676459156789]
貯留層コンピューティングネットワーク(RCN)は、学習と複雑な意思決定タスクのツールとして成功している。
線形力学系の実現理論を用いてRCNを設計するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-13T18:49:29Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-04T07:52:34Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z) - Error-feedback stochastic modeling strategy for time series forecasting
with convolutional neural networks [11.162185201961174]
本稿では,ランダム畳み込みネットワーク(ESM-CNN)ニューラル時系列予測タスクを構築するための新しいError-feedback Modeling (ESM)戦略を提案する。
提案したESM-CNNは、最先端のランダムニューラルネットワークを上回るだけでなく、トレーニングされた最先端のディープニューラルネットワークモデルと比較して、予測能力と計算オーバーヘッドの低減も実現している。
論文 参考訳（メタデータ） (2020-02-03T13:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。