論文の概要: Unsupervised Learning in Echo State Networks for Input Reconstruction

• arxiv url: http://arxiv.org/abs/2501.11409v2
• Date: Thu, 30 Jan 2025 10:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 16:35:21.158511
• Title: Unsupervised Learning in Echo State Networks for Input Reconstruction
• Title（参考訳）: 入力再構成のためのエコー状態ネットワークにおける教師なし学習
• Authors: Taiki Yamada, Yuichi Katori, Kantaro Fujiwara,
• Abstract要約: 我々は、教師なし学習(UL)を用いて入力再構成(IR)を行うために、ESN読み出し層の学習アルゴリズムを再構成する。 以上の結果から,理論上は健全で普遍的に適用可能なIR定式化が確立され,ERSにおける関連する課題が明らかになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional echo state networks (ESNs) require supervised learning to train the readout layer, using the desired outputs as training data. In this study, we focus on input reconstruction (IR), which refers to training the readout layer to reproduce the input time series in its output. We reformulate the learning algorithm of the ESN readout layer to perform IR using unsupervised learning (UL). By conducting theoretical analysis and numerical experiments, we demonstrate that IR in ESNs can be effectively implemented under realistic conditions without explicitly using the desired outputs as training data; in this way, UL is enabled. Furthermore, we demonstrate that applications relying on IR, such as dynamical system replication and noise filtering, can be reformulated within the UL framework. Our findings establish a theoretically sound and universally applicable IR formulation, along with its related tasks in ESNs. This work paves the way for novel predictions and highlights unresolved theoretical challenges in ESNs, particularly in the context of time-series processing methods and computational models of the brain.
• Abstract（参考訳）: 従来のエコー状態ネットワーク(ESN)は、所望の出力をトレーニングデータとして使用して読み出し層をトレーニングするために教師付き学習を必要とする。 本研究では,入力時系列を出力に再現するために読み出し層をトレーニングすることを目的とした入力再構成(IR)に焦点を当てた。 本研究では、ERS読み出し層の学習アルゴリズムを再構成し、教師なし学習(UL)を用いてIRを実行する。 理論的解析と数値実験を行うことにより、所望の出力をトレーニングデータとして明示的に使用せずに現実的な条件下で有効に実装できることを実証する。 さらに、動的システムのレプリケーションやノイズフィルタリングといったIRに依存したアプリケーションは、ULフレームワーク内で再構成可能であることを示す。 以上の結果から,理論上は健全で普遍的に適用可能なIR定式化が確立された。 この研究は、新しい予測の道を開き、特に時系列処理法や脳の計算モデルにおいて、ESNにおける未解決理論上の課題を強調している。

関連論文リスト

• Introducing Interval Neural Networks for Uncertainty-Aware System Identification [2.8391355909797644]
  本稿では,システム同定(SysID)タスクにおける不確実性定量化(UQ)を実現するために,INN(Interval Neural Networks)の構築と学習を行うフレームワークを提案する。 INNは、事前訓練されたニューラルネットワークの学習可能なパラメータ(LP)を確率論的仮定に頼ることなく、インターバル値のLPに変換することによって導出される。 我々は,Long Short-Term Memory (LSTM) とNeural Ordinary Differential Equations (Neural ODEs) を Interval LSTM (ILSTM) と Interval NODE (INODE) アーキテクチャに拡張し,SysID に応用するための数学的基盤を提供する。
  論文  参考訳（メタデータ） (2025-04-26T08:16:46Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
  本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。 我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。 数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-21T03:21:22Z)
• Improving the Performance of Echo State Networks Through State Feedback [0.0]
  非線形力学系を用いた貯留層計算は、ニューラルネットワークに代わる費用対効果を提供する。 ESNの潜在的な欠点は、固定された貯水池が特定の問題に必要な複雑さを提供していないことである。 本稿では, 貯留状態の一部の成分を入力を介してネットワークにフィードバックすることにより, 所定のESNの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-12-23T02:34:50Z)
• Deep Inductive Logic Programming meets Reinforcement Learning [0.0]
  微分可能なニューラルロジック(dNL)ネットワークは、そのニューラルアーキテクチャがシンボリック推論を含むため、関数を学習することができる。 動的連続環境に対処するための強化学習(RRL)分野におけるdNLの適用を提案する。
  論文  参考訳（メタデータ） (2023-08-30T09:08:46Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Fusing Event-based Camera and Radar for SLAM Using Spiking Neural Networks with Continual STDP Learning [7.667590910539249]
  本研究では、イベントベースのカメラと、ドローンナビゲーションのための周波数変調連続波(FMCW)レーダを融合した、第一種SLAMアーキテクチャを提案する。 各センサーはバイオインスパイアされたスパイキングニューラルネットワーク(SNN)によって処理され、連続的なスパイク・タイミング・依存塑性(STDP)学習を行う。 DVS-Radar SLAM手法のロバスト性を実証した。
  論文  参考訳（メタデータ） (2022-10-09T12:05:19Z)
• Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
  情報理論AEPに基づく信頼性学習の理論的保証を提供する。 次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。 実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T17:33:11Z)
• Composite FORCE learning of chaotic echo state networks for time-series prediction [7.650966670809372]
  本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。 その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-07-06T03:44:09Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。