論文の概要: Uncovering the Functional Roles of Nonlinearity in Memory

• arxiv url: http://arxiv.org/abs/2506.07919v1
• Date: Mon, 09 Jun 2025 16:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.055058
• Title: Uncovering the Functional Roles of Nonlinearity in Memory
• Title（参考訳）: メモリにおける非線形性の機能的役割の解明
• Authors: Manuel Brenner, Georgia Koppe,
• Abstract要約: 我々は、繰り返しネットワークにおける非線形性の機能的役割を系統的に解明するために、性能比較を超えていく。 ニアリニアリカレントニューラルネットワーク(AL-RNN)を用いて非線形性に対するきめ細かい制御を可能にする。 最小の非線形性は十分であるだけでなく、しばしば最適であり、より単純で、より堅牢で、完全に非線形あるいは線形なモデルよりも解釈可能なモデルが得られる。
• 参考スコア（独自算出の注目度）: 2.315156126698557
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Memory and long-range temporal processing are core requirements for sequence modeling tasks across natural language processing, time-series forecasting, speech recognition, and control. While nonlinear recurrence has long been viewed as essential for enabling such mechanisms, recent work suggests that linear dynamics may often suffice. In this study, we go beyond performance comparisons to systematically dissect the functional role of nonlinearity in recurrent networks--identifying both when it is computationally necessary, and what mechanisms it enables. We use Almost Linear Recurrent Neural Networks (AL-RNNs), which allow fine-grained control over nonlinearity, as both a flexible modeling tool and a probe into the internal mechanisms of memory. Across a range of classic sequence modeling tasks and a real-world stimulus selection task, we find that minimal nonlinearity is not only sufficient but often optimal, yielding models that are simpler, more robust, and more interpretable than their fully nonlinear or linear counterparts. Our results provide a principled framework for selectively introducing nonlinearity, bridging dynamical systems theory with the functional demands of long-range memory and structured computation in recurrent neural networks, with implications for both artificial and biological neural systems.
• Abstract（参考訳）: メモリと長距離の時間処理は、自然言語処理、時系列予測、音声認識、制御にまたがるシーケンスモデリングタスクのコア要件である。 非線形再帰はそのような機構を実現するのに欠かせないと考えられてきたが、最近の研究は線形力学がしばしば十分であることを示している。 本研究では,リカレントネットワークにおける非線形性の機能的役割を系統的に解明するために,性能比較を超越した手法を提案する。 ニアリニアリカレントニューラルネットワーク(AL-RNN)を用いて、非線形性に対するきめ細かい制御を可能にする。 古典的シーケンスモデリングタスクと実世界の刺激選択タスクの範囲で、最小限の非線形性は十分であるだけでなく、しばしば最適であり、より単純で、より堅牢で、完全に非線形あるいは線形なモデルよりも解釈可能なモデルが得られる。 本研究は, 非線形性を選択的に導入し, 長期記憶の機能的要求による力学系理論をブリッジし, ニューラルネットワークにおける構造化計算を行い, 人工神経系と生体神経系の両方に影響を及ぼす。

関連論文リスト

• Certified Neural Approximations of Nonlinear Dynamics [52.79163248326912]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
  収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。 しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。 本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
  論文  参考訳（メタデータ） (2025-04-23T21:27:32Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
  複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。 極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
  論文  参考訳（メタデータ） (2024-11-15T08:52:12Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• DynNet: Physics-based neural architecture design for linear and nonlinear structural response modeling and prediction [2.572404739180802]
  本研究では,線形および非線形な多自由度系の力学を学習できる物理に基づくリカレントニューラルネットワークモデルを提案する。 このモデルは、変位、速度、加速度、内部力を含む完全な応答のセットを推定することができる。
  論文  参考訳（メタデータ） (2020-07-03T17:05:35Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。