論文の概要: Universality of Real Minimal Complexity Reservoir

• arxiv url: http://arxiv.org/abs/2408.08071v1
• Date: Thu, 15 Aug 2024 10:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 14:16:19.013025
• Title: Universality of Real Minimal Complexity Reservoir
• Title（参考訳）: リアル・ミニマル複雑貯留層の普遍性
• Authors: Robert Simon Fong, Boyu Li, Peter Tiňo,
• Abstract要約: 貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。 実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
• 参考スコア（独自算出の注目度）: 0.358439716487063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir Computing (RC) models, a subclass of recurrent neural networks, are distinguished by their fixed, non-trainable input layer and dynamically coupled reservoir, with only the static readout layer being trained. This design circumvents the issues associated with backpropagating error signals through time, thereby enhancing both stability and training efficiency. RC models have been successfully applied across a broad range of application domains. Crucially, they have been demonstrated to be universal approximators of time-invariant dynamic filters with fading memory, under various settings of approximation norms and input driving sources. Simple Cycle Reservoirs (SCR) represent a specialized class of RC models with a highly constrained reservoir architecture, characterized by uniform ring connectivity and binary input-to-reservoir weights with an aperiodic sign pattern. For linear reservoirs, given the reservoir size, the reservoir construction has only one degree of freedom -- the reservoir cycle weight. Such architectures are particularly amenable to hardware implementations without significant performance degradation in many practical tasks. In this study we endow these observations with solid theoretical foundations by proving that SCRs operating in real domain are universal approximators of time-invariant dynamic filters with fading memory. Our results supplement recent research showing that SCRs in the complex domain can approximate, to arbitrary precision, any unrestricted linear reservoir with a non-linear readout. We furthermore introduce a novel method to drastically reduce the number of SCR units, making such highly constrained architectures natural candidates for low-complexity hardware implementations. Our findings are supported by empirical studies on real-world time series datasets.
• Abstract（参考訳）: リカレントニューラルネットワークのサブクラスであるReservoir Computing(RC)モデルは、固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 この設計は、時間経過によるエラー信号のバックプロパゲーションに関連する問題を回避し、安定性と訓練効率を両立させる。 RCモデルは、広範囲のアプリケーションドメインでうまく適用されています。 重要なことは、これらは、近似ノルムや入力駆動源の様々な設定の下で、記憶が消える時間不変な動的フィルタの普遍的な近似器であることが示されている。 Simple Cycle Reservoirs (SCR) は、高度に制約された貯水池構造を持つRCモデルの特殊なクラスであり、一様リング接続と周期的な符号パターンを持つ二値入力-貯水池重みが特徴である。 貯水池の大きさを考えると、貯水池の建設は1自由度(貯水池サイクルの重量)しか持たない。 このようなアーキテクチャは、ハードウェアの実装に特に適しており、多くの実用的なタスクにおいて性能が大幅に低下することはない。 本研究では,実領域で動作しているSCRが,時間不変な動的フィルタとフェージングメモリとの共通近似器であることを証明し,これらの観測を固い理論的基礎と組み合わせた。 本研究は, 複素領域のSCRが任意の精度で, 非線形読み出しを伴う任意の非制限線形貯水池に近似可能であることを示す最近の研究を補完するものである。 さらに、SCRユニットの数を劇的に削減する新しい手法を導入し、そのような制約の高いアーキテクチャを低複雑さハードウェア実装の候補として自然に採用する。 本研究は実世界の時系列データセットに関する実証研究によって裏付けられている。

関連論文リスト

• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning [49.83621156017321]
  SimBaは、単純さのバイアスを注入することによって、深いRLでパラメータをスケールアップするように設計されたアーキテクチャである。 SimBaでパラメータをスケールアップすることで、オフポリシー、オンポリシー、アン教師なしメソッドを含む様々なディープRLアルゴリズムのサンプル効率が一貫して改善される。
  論文  参考訳（メタデータ） (2024-10-13T07:20:53Z)
• A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
  非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。 このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-08-26T17:50:47Z)
• Simple Cycle Reservoirs are Universal [0.358439716487063]
  貯留層モデル(Reservoir model)は、トレーニング不能な入力と動的結合重みを固定したリカレントニューラルネットワークのサブクラスを形成する。 制限のない線形貯水池系を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:35:59Z)
• Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing [19.995241682744567]
  貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。 RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-04T17:04:13Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Reservoir Based Edge Training on RF Data To Deliver Intelligent and Efficient IoT Spectrum Sensors [0.6451914896767135]
  本稿では,コンパクトなモバイルデバイス上での汎用機械学習アルゴリズムをサポートする処理アーキテクチャを提案する。 Deep Delay Loop Reservoir Computing (DLR)は、Stand-of-the-Art (SoA)と比較して、フォームファクタ、ハードウェアの複雑さ、レイテンシを低減します。 状態ベクトルを線形に結合した複数の小さなループからなるDLRアーキテクチャを、リッジ回帰に対する低次元入力を生成する。
  論文  参考訳（メタデータ） (2021-04-01T20:08:01Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。