論文の概要: Infinite-dimensional reservoir computing

• arxiv url: http://arxiv.org/abs/2304.00490v1
• Date: Sun, 2 Apr 2023 08:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 17:50:01.972080
• Title: Infinite-dimensional reservoir computing
• Title（参考訳）: 無限次元貯水池計算
• Authors: Lukas Gonon, Lyudmila Grigoryeva, Juan-Pablo Ortega
• Abstract要約: インプット/アウトプットシステムの新しい概念クラスに対して,貯留層計算の近似と一般化境界が証明された。 本研究の結果は,完全実装可能なリカレントニューラルネットワークに基づく学習アルゴリズムであり,コンバージェンス保証が保証されている。
• 参考スコア（独自算出の注目度）: 9.152759278163954
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reservoir computing approximation and generalization bounds are proved for a new concept class of input/output systems that extends the so-called generalized Barron functionals to a dynamic context. This new class is characterized by the readouts with a certain integral representation built on infinite-dimensional state-space systems. It is shown that this class is very rich and possesses useful features and universal approximation properties. The reservoir architectures used for the approximation and estimation of elements in the new class are randomly generated echo state networks with either linear or ReLU activation functions. Their readouts are built using randomly generated neural networks in which only the output layer is trained (extreme learning machines or random feature neural networks). The results in the paper yield a fully implementable recurrent neural network-based learning algorithm with provable convergence guarantees that do not suffer from the curse of dimensionality.
• Abstract（参考訳）: 一般バロン関数を動的コンテキストに拡張した入力/出力システムの新しい概念クラスに対して、貯留層計算近似と一般化境界が証明される。 この新しいクラスは、無限次元状態空間系上に構築されたある積分表現を持つ読み出しによって特徴づけられる。 このクラスは非常にリッチであり、有用な特徴と普遍近似特性を持っていることが示されている。 新しいクラスの要素の近似と推定に使われるリザーバアーキテクチャは、線形またはreluアクティベーション関数を持つランダムに生成されたエコー状態ネットワークである。 これらの読み出しは、出力層のみをトレーニングするランダム生成ニューラルネットワーク(極端に学習マシンまたはランダム特徴ニューラルネットワーク)を使用して構築される。 本研究の結果は,次元性の呪いに苦しむことのない収束性を保証する,完全に実装可能なニューラルネットワークに基づく学習アルゴリズムである。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Reservoir Computing with Generalized Readout based on Generalized Synchronization [0.0]
  貯留層コンピューティング(Reservoir computing)は、非線形力学を利用する機械学習フレームワークである。 本稿では,貯水池変数の非線形結合を含む一般化された読み出しを伴う新しい貯水池計算フレームワークを提案する。 数値実験により, 一般化された読み出しの導入は, 精度の大幅な向上と, 頑健さの予期せぬ向上につながることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T10:03:59Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。