論文の概要: Cluster-based Input Weight Initialization for Echo State Networks

• arxiv url: http://arxiv.org/abs/2103.04710v1
• Date: Mon, 8 Mar 2021 12:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 15:59:52.631111
• Title: Cluster-based Input Weight Initialization for Echo State Networks
• Title（参考訳）: Echo状態ネットワークのためのクラスタベース入力重み初期化
• Authors: Peter Steiner (1), Azarakhsh Jalalvand (2 and 3), Peter Birkholz (1) ((1) Institute for Acoustics and Speech Communication, Technische Universit\"at Dresden, 01069 Dresden, Germany, (2) IDLab, Ghent University, Belgium, (3) Aerospace Engineering department, Princeton University, USA)
• Abstract要約: Echo State Networks (ESN) は、リカレントニューラルネットワーク(RNN)の特殊なタイプである。 ESNでは、入力およびリカレント接続は伝統的にランダムに生成され、出力重みのみをトレーニングする。 トレーニングデータ上でK-Meansアルゴリズムを用いて,入力接続の教師なし初期化を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Echo State Networks (ESNs) are a special type of recurrent neural networks (RNNs), in which the input and recurrent connections are traditionally generated randomly, and only the output weights are trained. Despite the recent success of ESNs in various tasks of audio, image and radar recognition, we postulate that a purely random initialization is not the ideal way of initializing ESNs. The aim of this work is to propose an unsupervised initialization of the input connections using the K-Means algorithm on the training data. We show that this initialization performs equivalently or superior than a randomly initialized ESN whilst needing significantly less reservoir neurons (2000 vs. 4000 for spoken digit recognition, and 300 vs. 8000 neurons for f0 extraction) and thus reducing the amount of training time. Furthermore, we discuss that this approach provides the opportunity to estimate the suitable size of the reservoir based on the prior knowledge about the data.
• Abstract（参考訳）: Echo State Networks (ESN) は、入力とリカレント接続が伝統的にランダムに生成され、出力重みのみをトレーニングする特殊なタイプのリカレントニューラルネットワーク(RNN)である。 近年,音声,画像,レーダ認識の様々なタスクにおいてESNが成功しているにもかかわらず,純粋にランダムな初期化はESNを初期化する理想的な方法ではないと仮定する。 本研究の目的は,K-Meansアルゴリズムを用いた入力接続の教師なし初期化を提案することである。 この初期化はランダムに初期化されたESNと同等かそれ以上に機能し、貯留層ニューロン(2000対4000、f0抽出では300対8000のニューロン)を有意に少なくし、トレーニング時間を大幅に短縮することを示した。 さらに,本手法は,データに関する事前知識に基づいて,貯水池の適切な大きさを推定する機会を提供する。

関連論文リスト

• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• NTK-SAP: Improving neural network pruning by aligning training dynamics [13.887349224871045]
  ニューラルカーネル(NTK)理論の最近の進歩は、十分に大きなニューラルネットワークのトレーニング力学が、NTKのスペクトルと密接に関連していることを示唆している。 我々はNTKのスペクトルに最も影響の少ない接続をプルークする。 我々は、先見的なプルーニングアルゴリズム、Neural Kernel Spectrum-Aware Pruning (NTK-SAP) を命名する。
  論文  参考訳（メタデータ） (2023-04-06T03:10:03Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• ZerO Initialization: Initializing Residual Networks with only Zeros and Ones [44.66636787050788]
  ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。 ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。 本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。 驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-10-25T06:17:33Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。