論文の概要: Learning Reservoir Dynamics with Temporal Self-Modulation

• arxiv url: http://arxiv.org/abs/2301.09235v1
• Date: Mon, 23 Jan 2023 00:44:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 14:18:43.025861
• Title: Learning Reservoir Dynamics with Temporal Self-Modulation
• Title（参考訳）: 時間的自己変調による貯水池ダイナミクスの学習
• Authors: Yusuke Sakemi, Sou Nobukawa, Toshitaka Matsuki, Takashi Morie, Kazuyuki Aihara
• Abstract要約: Reservoir Computing(RC)は、入力信号をランダムに接続されたニューラルネットワーク(RNN)に転送することで、時系列データを効率的に処理することができる。 しかし、RCの学習性能は他の最先端のRNNモデルよりも劣っている。 自己変調機構を付加してRCを拡張する自己変調RC(SM-RC)を提案する。
• 参考スコア（独自算出の注目度）: 3.2548794659022393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reservoir computing (RC) can efficiently process time-series data by transferring the input signal to randomly connected recurrent neural networks (RNNs), which are referred to as a reservoir. The high-dimensional representation of time-series data in the reservoir significantly simplifies subsequent learning tasks. Although this simple architecture allows fast learning and facile physical implementation, the learning performance is inferior to that of other state-of-the-art RNN models. In this paper, to improve the learning ability of RC, we propose self-modulated RC (SM-RC), which extends RC by adding a self-modulation mechanism. The self-modulation mechanism is realized with two gating variables: an input gate and a reservoir gate. The input gate modulates the input signal, and the reservoir gate modulates the dynamical properties of the reservoir. We demonstrated that SM-RC can perform attention tasks where input information is retained or discarded depending on the input signal. We also found that a chaotic state emerged as a result of learning in SM-RC. This indicates that self-modulation mechanisms provide RC with qualitatively different information-processing capabilities. Furthermore, SM-RC outperformed RC in NARMA and Lorentz model tasks. In particular, SM-RC achieved a higher prediction accuracy than RC with a reservoir 10 times larger in the Lorentz model tasks. Because the SM-RC architecture only requires two additional gates, it is physically implementable as RC, providing a new direction for realizing edge AI.
• Abstract（参考訳）: 貯留層計算(RC)は、入力信号を無作為に連結されたリカレントニューラルネットワーク(RNN)に転送することで、時系列データを効率的に処理することができる。 貯水池内の時系列データの高次元表現は、その後の学習タスクを大幅に単純化する。 このシンプルなアーキテクチャは、高速な学習とフィジカル実装を可能にするが、学習性能は他の最先端のRNNモデルよりも劣る。 本稿では,RCの学習能力を向上させるために,自己変調機構を付加してRCを拡張する自己変調RC(SM-RC)を提案する。 自己変調機構は入力ゲートと貯水池ゲートの2つのゲーティング変数で実現される。 入力ゲートは入力信号を変調し、貯水池ゲートは貯水池の動的特性を変調する。 SM-RCは、入力信号に応じて、入力情報を保持または破棄するアテンションタスクを実行できることを示した。 また,SM-RCの学習の結果,カオス状態が出現した。 これは、自己変調機構がRCに質的に異なる情報処理機能を提供することを示している。 さらに、SM-RC は NARMA と Lorentz のモデルタスクにおいて RC よりも優れていた。 特にSM-RCはローレンツモデルの10倍の精度でRCよりも高い予測精度を達成した。 SM-RCアーキテクチャは2つのゲートのみを必要とするため、RCとして物理的に実装可能であり、エッジAIを実現するための新たな方向を提供する。

関連論文リスト

• Universality of Real Minimal Complexity Reservoir [0.358439716487063]
  貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。 実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
  論文  参考訳（メタデータ） (2024-08-15T10:44:33Z)
• Analysis and Fully Memristor-based Reservoir Computing for Temporal Data Classification [0.6291443816903801]
  Reservoir Computing (RC) は、特に信号処理に有効なニューロモルフィックなフレームワークを提供する。 RCハードウェアのキーコンポーネントは動的貯留状態を生成する能力である。 本研究は, 新たな時間的課題の管理において, メムリスタをベースとしたRCシステムの適応性を照らすものである。
  論文  参考訳（メタデータ） (2024-03-04T08:22:29Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Deep Learning-Based Rate-Splitting Multiple Access for Reconfigurable Intelligent Surface-Aided Tera-Hertz Massive MIMO [56.022764337221325]
  再構成可能なインテリジェントサーフェス(RIS)は,Tera-Hertz大規模マルチインプットマルチアウトプット(MIMO)通信システムのサービスカバレッジを大幅に向上させることができる。 しかし、パイロットとフィードバック信号のオーバーヘッドが限定された正確な高次元チャネル状態情報(CSI)を得ることは困難である。 本稿では、RIS支援Tera-Hertzマルチユーザアクセスシステムのための、ディープラーニング(DL)に基づくレート分割多重アクセス方式を提案する。
  論文  参考訳（メタデータ） (2022-09-18T03:07:37Z)
• Heterogeneous Reservoir Computing Models for Persian Speech Recognition [0.0]
  Reservoir Computing Model (RC)モデルは、トレーニングに安価であること、パラメータが大幅に少なく、創発的なハードウェア技術と互換性があることが証明されている。 異なるスケールで時間的コンテキストをキャプチャする入力の非線形変換を生成するために、異種単層および多層ESNを提案する。
  論文  参考訳（メタデータ） (2022-05-25T09:15:15Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• Harnessing Tensor Structures -- Multi-Mode Reservoir Computing and Its Application in Massive MIMO [39.46260351352041]
  新しいニューラルネットワーク(NN)構造、マルチモード貯留層コンピューティング(マルチモードRC)を紹介します。 マルチモードRCベースの学習フレームワークは、無線システムの実用的制約を効果的に効果的に対処することができる。
  論文  参考訳（メタデータ） (2021-01-25T20:30:22Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• RCNet: Incorporating Structural Information into Deep RNN for MIMO-OFDM Symbol Detection with Limited Training [26.12840500767443]
  我々は、OFDM信号に固有の構造情報を活用するために、時間周波数RCを導入する。 RCNetは、浅いRC構造よりも高速な学習収束と最大20%のビット誤り率を提供できることを示す。
  論文  参考訳（メタデータ） (2020-03-15T21:06:40Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。