論文の概要: Lyapunov Learning at the Onset of Chaos

• arxiv url: http://arxiv.org/abs/2506.12810v1
• Date: Sun, 15 Jun 2025 10:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.900981
• Title: Lyapunov Learning at the Onset of Chaos
• Title（参考訳）: カオスの始まりにおけるリアプノフの学習
• Authors: Matteo Benati, Alessandro Londei, Denise Lanzieri, Vittorio Loreto,
• Abstract要約: 我々はtextitLyapunov Learning と呼ばれるニューラルネットワークの新しいトレーニングアルゴリズムを提案する。 本手法は,非定常系における状態変化を含む実験において,有効かつ重要な改善を示すものである。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Handling regime shifts and non-stationary time series in deep learning systems presents a significant challenge. In the case of online learning, when new information is introduced, it can disrupt previously stored data and alter the model's overall paradigm, especially with non-stationary data sources. Therefore, it is crucial for neural systems to quickly adapt to new paradigms while preserving essential past knowledge relevant to the overall problem. In this paper, we propose a novel training algorithm for neural networks called \textit{Lyapunov Learning}. This approach leverages the properties of nonlinear chaotic dynamical systems to prepare the model for potential regime shifts. Drawing inspiration from Stuart Kauffman's Adjacent Possible theory, we leverage local unexplored regions of the solution space to enable flexible adaptation. The neural network is designed to operate at the edge of chaos, where the maximum Lyapunov exponent, indicative of a system's sensitivity to small perturbations, evolves around zero over time. Our approach demonstrates effective and significant improvements in experiments involving regime shifts in non-stationary systems. In particular, we train a neural network to deal with an abrupt change in Lorenz's chaotic system parameters. The neural network equipped with Lyapunov learning significantly outperforms the regular training, increasing the loss ratio by about $96\%$.
• Abstract（参考訳）: ディープラーニングシステムにおけるシステマティックシフトや非定常時系列の扱いは重要な課題である。 オンライン学習の場合、新しい情報が導入された場合、前もって保存されていたデータを破壊し、モデル全体のパラダイム、特に静止しないデータソースを変更することができる。 したがって、ニューラルネットワークは、全体的な問題に関連する重要な過去の知識を保持しながら、新しいパラダイムに迅速に適応することが不可欠である。 本稿では,ニューラルネットワークのための新しいトレーニングアルゴリズムである「textit{Lyapunov Learning}」を提案する。 このアプローチは、非線形カオス力学系の特性を利用して、潜在的な状態シフトのモデルを作成する。 スチュアート・カウフマン(Stuart Kauffman)の随伴可能性理論(Adjacent Possible theory)からインスピレーションを得て、解空間の局所未探索領域を活用してフレキシブル適応を可能にする。 ニューラルネットワークはカオスの端で動作するように設計されており、Lyapunov指数の最大値は、システムが小さな摂動に敏感であることを示すもので、時間とともにゼロに進化する。 本手法は,非定常系における状態変化を含む実験において,有効かつ重要な改善を示すものである。 特に、ロレンツのカオスシステムのパラメータの急激な変化に対処するためにニューラルネットワークを訓練する。 リアプノフ学習を備えたニューラルネットワークは、正規トレーニングを著しく上回り、損失率を約9,6\%$に向上させる。

関連論文リスト

• Leveraging chaos in the training of artificial neural networks [3.379574469735166]
  従来とは違って大きな学習率のトレーニングに沿って、ニューラルネットワークの軌道のダイナミクスを探求する。 学習率の値の領域において、GD最適化は純粋に活用可能なアルゴリズムから探索・探索バランスの体制へと移行することを示す。
  論文  参考訳（メタデータ） (2025-06-10T07:41:58Z)
• Dreaming Learning [41.94295877935867]
  機械学習システムに新しい情報を導入することは、以前に格納されたデータに干渉する可能性がある。 スチュアート・カウフマンの随伴可能性の概念に着想を得た学習アルゴリズムを提案する。 ニューラルネットワークは、予想と異なる統計特性を持つデータシーケンスを円滑に受け入れ、統合することを前提としている。
  論文  参考訳（メタデータ） (2024-10-23T09:17:31Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。