論文の概要: Rank Based Pseudoinverse Computation in Extreme Learning Machine for Large Datasets

• arxiv url: http://arxiv.org/abs/2011.02436v1
• Date: Wed, 4 Nov 2020 17:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:39:47.197382
• Title: Rank Based Pseudoinverse Computation in Extreme Learning Machine for Large Datasets
• Title（参考訳）: 大規模データセットのための極限学習マシンにおけるランクベース擬似逆計算
• Authors: Ramesh Ragala and Bharadwaja kumar
• Abstract要約: ELM(Extreme Learning Machine)は、単一層フィードフォワードニューラルネットワーク(SLFN)に基づく分類、回帰問題に対する効率的かつ効果的な最小二乗学習アルゴリズムである。 本稿では,隠蔽層行列の新しい階数に基づく行列分解を行い,最適トレーニング時間と,隠蔽層内の多数の隠蔽ノードの計算複雑性を低減した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme Learning Machine (ELM) is an efficient and effective least-square-based learning algorithm for classification, regression problems based on single hidden layer feed-forward neural network (SLFN). It has been shown in the literature that it has faster convergence and good generalization ability for moderate datasets. But, there is great deal of challenge involved in computing the pseudoinverse when there are large numbers of hidden nodes or for large number of instances to train complex pattern recognition problems. To address this problem, a few approaches such as EM-ELM, DF-ELM have been proposed in the literature. In this paper, a new rank-based matrix decomposition of the hidden layer matrix is introduced to have the optimal training time and reduce the computational complexity for a large number of hidden nodes in the hidden layer. The results show that it has constant training time which is closer towards the minimal training time and very far from worst-case training time of the DF-ELM algorithm that has been shown efficient in the recent literature.
• Abstract（参考訳）: ELM(Extreme Learning Machine)は、単一層フィードフォワードニューラルネットワーク(SLFN)に基づく分類、回帰問題に対する効率的かつ効果的な最小二乗学習アルゴリズムである。 文献では、適度なデータセットに対してより高速な収束と優れた一般化能力があることが示されている。 しかし、多数の隠れノードがある場合や、複雑なパターン認識問題をトレーニングするための大量のインスタンスがある場合、疑似逆を計算することに関わる多くの課題がある。 この問題に対処するために,EM-ELM,DF-ELMなどのいくつかの手法が文献で提案されている。 本稿では,隠れ層行列の新しいランクベース行列分解法を導入し,最適学習時間を持ち,隠れ層における多数の隠れノードの計算複雑性を低減する。 以上の結果から,df-elmアルゴリズムの最小訓練時間に近い訓練時間と,近年の文献で効率的なdf-elmアルゴリズムの最悪の訓練時間との差が示唆された。

関連論文リスト

• A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
  エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。 本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
  論文  参考訳（メタデータ） (2024-06-22T23:25:54Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Local Extreme Learning Machines and Domain Decomposition for Solving Linear and Nonlinear Partial Differential Equations [0.0]
  本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。 この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。 本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
  論文  参考訳（メタデータ） (2020-12-04T23:19:39Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Inference in Multi-Layer Networks with Matrix-Valued Unknowns [32.635971570510755]
  出力の観測から多層ニューラルネットワークの入力変数と隠れ変数を推定する問題を考察する。 MAPおよびMMSE推論のための統一近似アルゴリズムを提案する。 提案したMulti-Layer Matrix VAMP (ML-Mat-VAMP) アルゴリズムの性能は, あるランダムな大システム制限下で正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2020-01-26T04:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。