論文の概要: Universality and approximation bounds for echo state networks with random weights

• arxiv url: http://arxiv.org/abs/2206.05669v3
• Date: Mon, 4 Dec 2023 02:05:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 02:12:34.560801
• Title: Universality and approximation bounds for echo state networks with random weights
• Title（参考訳）: ランダム重み付きエコー状態ネットワークの普遍性と近似境界
• Authors: Zhen Li, Yunfei Yang
• Abstract要約: 内部重みをランダムに生成したエコー状態ネットワークの均一近似について検討した。 近年の結果, ReLUアクティベーションを伴うエコー状態ネットワークは普遍的であることが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.310194156119441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the uniform approximation of echo state networks with randomly generated internal weights. These models, in which only the readout weights are optimized during training, have made empirical success in learning dynamical systems. Recent results showed that echo state networks with ReLU activation are universal. In this paper, we give an alternative construction and prove that the universality holds for general activation functions. Specifically, our main result shows that, under certain condition on the activation function, there exists a sampling procedure for the internal weights so that the echo state network can approximate any continuous casual time-invariant operators with high probability. In particular, for ReLU activation, we give explicit construction for these sampling procedures. We also quantify the approximation error of the constructed ReLU echo state networks for sufficiently regular operators.
• Abstract（参考訳）: 内部重みをランダムに生成したエコー状態ネットワークの均一近似について検討した。 これらのモデルは、トレーニング中に読み出し重量だけを最適化するものであり、動的システムを学ぶ上で経験的な成功を収めた。 最近の結果は、reluアクティベーションを持つエコーステートネットワークが普遍的であることを示している。 本稿では、代替構成を与え、普遍性が一般活性化関数に対して成り立つことを証明する。 特に, 活性化関数のある条件下では, 内部重みに対するサンプリング手順が存在し, エコー状態ネットワークは, 任意の連続的なカジュアル時間不変作用素を高い確率で近似できることを示す。 特に、ReLUの活性化には、これらのサンプリング手順を明確に構成する。 また、構築したreluエコー状態ネットワークの十分正規な演算子に対する近似誤差を定量化する。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Quantum correlation functions through tensor network path integral [0.0]
  テンソルネットワークは、オープン量子系の平衡相関関数を計算するために利用される。 溶媒が量子系に与える影響は、影響関数によって取り込まれている。 この手法の設計と実装は、速度理論、シンメトリゼーションされたスピン相関関数、動的感受性計算、量子熱力学からの図解とともに議論される。
  論文  参考訳（メタデータ） (2023-08-21T07:46:51Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control [0.0]
  近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。 本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
  論文  参考訳（メタデータ） (2023-03-28T18:55:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems [0.4588028371034407]
  我々は、物理に基づくベイズ推論問題の後部から効果的にサンプリングするために、条件付きワッサーシュタイン生成逆数ネットワークを訓練する。 生成元は自然界において局所的な逆写像を学習できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T22:57:05Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Approximation Bounds for Random Neural Networks and Reservoir Systems [8.143750358586072]
  本研究は、ランダムに生成された内部重みを持つ単層フィードフォワードおよび繰り返しニューラルネットワークに基づく近似について研究する。 特に、ランダムに生成された重みを持つエコー状態ネットワークは、広い種類の力学系を任意に近似することができることを証明している。
  論文  参考訳（メタデータ） (2020-02-14T09:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。