論文の概要: Beyond Lipschitz Continuity and Monotonicity: Fractal and Chaotic Activation Functions in Echo State Networks

• arxiv url: http://arxiv.org/abs/2512.14675v1
• Date: Tue, 16 Dec 2025 18:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.835991
• Title: Beyond Lipschitz Continuity and Monotonicity: Fractal and Chaotic Activation Functions in Echo State Networks
• Title（参考訳）: リプシッツ連続性と単調性を超えて:エコー状態ネットワークにおけるフラクタルおよびカオス活性化関数
• Authors: Rae Chipera, Jenny Du, Irene Tsapara,
• Abstract要約: 現代の貯水池計算は、スムーズでグローバルなリプシッツ連続活性化関数に大きく依存している。 エコー状態ネットワークにおけるカオス,フラクタル変種を含む非滑らかな活性化関数について検討する。 数個の非滑らか関数は収束速度やスペクトル半径耐性において従来の滑らかな活性化よりも優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary reservoir computing relies heavily on smooth, globally Lipschitz continuous activation functions, limiting applications in defense, disaster response, and pharmaceutical modeling where robust operation under extreme conditions is critical. We systematically investigate non-smooth activation functions, including chaotic, stochastic, and fractal variants, in echo state networks. Through comprehensive parameter sweeps across 36,610 reservoir configurations, we demonstrate that several non-smooth functions not only maintain the Echo State Property (ESP) but outperform traditional smooth activations in convergence speed and spectral radius tolerance. Notably, the Cantor function (continuous everywhere and flat almost everywhere) maintains ESP-consistent behavior up to spectral radii of rho ~ 10, an order of magnitude beyond typical bounds for smooth functions, while achieving 2.6x faster convergence than tanh and ReLU. We introduce a theoretical framework for quantized activation functions, defining a Degenerate Echo State Property (d-ESP) that captures stability for discrete-output functions and proving that d-ESP implies traditional ESP. We identify a critical crowding ratio Q=N/k (reservoir size / quantization levels) that predicts failure thresholds for discrete activations. Our analysis reveals that preprocessing topology, rather than continuity per se, determines stability: monotone, compressive preprocessing maintains ESP across scales, while dispersive or discontinuous preprocessing triggers sharp failures. While our findings challenge assumptions about activation function design in reservoir computing, the mechanism underlying the exceptional performance of certain fractal functions remains unexplained, suggesting fundamental gaps in our understanding of how geometric properties of activation functions influence reservoir dynamics.
• Abstract（参考訳）: 現代の貯水池計算は、スムーズでグローバルなリプシッツ連続活性化機能、防衛、災害対応、および極端な条件下での堅牢な操作が不可欠である医薬品のモデリングに大きく依存している。 エコー状態ネットワークにおけるカオス,確率,フラクタル変種を含む非滑らかな活性化関数を系統的に検討した。 36,610個の貯水池構成の総合的なパラメータスイープを通して、いくつかの非滑らか関数がエコー状態特性(ESP)を維持できるだけでなく、収束速度やスペクトル半径耐性において従来のスムーズなアクティベーションよりも優れていることを示した。 特に、カントール函数(至る所連続で、ほぼ至る所平坦)は、Rho ~ 10 のスペクトル半径まで ESP-一貫性の振舞いを保ち、滑らかな函数の典型的な境界を超える桁数であり、タンやReLU よりも 2.6 倍早く収束する。 本稿では、離散出力関数の安定性を捉えるデジネートエコー状態特性(d-ESP)を定義し、d-ESPが従来のESPを意味することを証明する。 離散的なアクティベーションの故障閾値を予測できる臨界群集率Q=N/k(貯留層サイズ/量子化レベル)を同定する。 単調で圧縮的な前処理はESPを維持し,分散的あるいは不連続な前処理は急激な故障を引き起こす。 貯水池計算における活性化関数設計の仮定には疑問があるが, ある種のフラクタル関数の例外的性能のメカニズムはいまだ解明されていないままであり, 活性化関数の幾何学的性質が貯水池力学にどのように影響するかの理解において, 基本的なギャップが示唆されている。

関連論文リスト

• Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks [13.857230672081489]
  本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
  論文  参考訳（メタデータ） (2025-07-24T14:41:18Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Approximation properties of neural ODEs [5.828989070109041]
  連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。 特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
  論文  参考訳（メタデータ） (2025-03-19T21:11:28Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• Inference on Strongly Identified Functionals of Weakly Identified Functions [71.42652863687117]
  本研究では,ニュアンス関数が存在しない場合でも,関数を強く識別するための新しい条件について検討する。 本稿では,プライマリおよびデバイアスのニュアンス関数に対するペナル化ミニマックス推定器を提案する。
  論文  参考訳（メタデータ） (2022-08-17T13:38:31Z)
• Computationally Efficient PAC RL in POMDPs with Latent Determinism and Conditional Embeddings [97.12538243736705]
  大規模部分観測可能決定プロセス(POMDP)の関数近似を用いた強化学習に関する研究 我々のアルゴリズムは、大規模POMDPに確実にスケールする。
  論文  参考訳（メタデータ） (2022-06-24T05:13:35Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。