論文の概要: Properties and Potential Applications of Random Functional-Linked Types of Neural Networks

• arxiv url: http://arxiv.org/abs/2304.00957v1
• Date: Mon, 3 Apr 2023 13:25:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 15:32:06.756269
• Title: Properties and Potential Applications of Random Functional-Linked Types of Neural Networks
• Title（参考訳）: ランダム関数型ニューラルネットワークの特性と応用の可能性
• Authors: Guang-Yong Chen, Yong-Hang Yu, Min Gan, C. L. Philip Chen, Wenzhong Guo
• Abstract要約: ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 81.56822938033119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random functional-linked types of neural networks (RFLNNs), e.g., the extreme learning machine (ELM) and broad learning system (BLS), which avoid suffering from a time-consuming training process, offer an alternative way of learning in deep structure. The RFLNNs have achieved excellent performance in various classification and regression tasks, however, the properties and explanations of these networks are ignored in previous research. This paper gives some insights into the properties of RFLNNs from the viewpoints of frequency domain, and discovers the presence of frequency principle in these networks, that is, they preferentially capture low-frequencies quickly and then fit the high frequency components during the training process. These findings are valuable for understanding the RFLNNs and expanding their applications. Guided by the frequency principle, we propose a method to generate a BLS network with better performance, and design an efficient algorithm for solving Poison's equation in view of the different frequency principle presenting in the Jacobi iterative method and BLS network.
• Abstract（参考訳）: ランダム関数リンク型ニューラルネットワーク(RFLNN)、例えば、極端学習機械(ELM)と広範学習システム(BLS)は、時間を要するトレーニングプロセスに苦しむことを回避し、深層構造における学習の代替手段を提供する。 rflnnは様々な分類と回帰タスクで優れた性能を達成しているが、これらのネットワークの性質と説明は以前の研究では無視されている。 本稿では、rflnnの特性について、周波数領域の観点から考察し、これらのネットワークにおける周波数原理の存在、すなわち、低頻度を迅速に捕捉し、トレーニングプロセス中に高周波数成分を適合させることを見出した。 これらの発見は、rflnnの理解と応用拡大に有用である。 周波数原理によって導かれ、より優れた性能でBLSネットワークを生成する方法を提案し、ジャコビ反復法とBLSネットワークに現れる異なる周波数原理の観点から、ポゾン方程式を解くための効率的なアルゴリズムを設計する。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
  風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。 我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。 提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
  論文  参考訳（メタデータ） (2021-07-01T13:13:24Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• SRDCNN: Strongly Regularized Deep Convolution Neural Network Architecture for Time-series Sensor Signal Classification Tasks [4.950427992960756]
  SRDCNN: 時系列分類タスクを実行するために, SRDCNN(Strongly Regularized Deep Convolution Neural Network)をベースとしたディープアーキテクチャを提案する。 提案手法の新規性は、ネットワークウェイトが L1 と L2 のノルム法則によって正則化されることである。
  論文  参考訳（メタデータ） (2020-07-14T08:42:39Z)
• R-FORCE: Robust Learning for Random Recurrent Neural Networks [6.285241353736006]
  RRNNのロバスト性を高めるためのロバストトレーニング手法を提案する。 FORCE学習アプローチは、目標学習の課題にも適用可能であることが示された。 実験の結果,R-FORCEはより広範囲のRRNNに対して,より安定かつ正確な目標学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2020-03-25T22:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。