論文の概要: How neural networks learn to classify chaotic time series

• arxiv url: http://arxiv.org/abs/2306.02300v1
• Date: Sun, 4 Jun 2023 08:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 18:49:00.314271
• Title: How neural networks learn to classify chaotic time series
• Title（参考訳）: ニューラルネットワークがカオス時系列を分類する方法
• Authors: Alessandro Corbetta, Thomas Geert de Jong
• Abstract要約: 本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are increasingly employed to model, analyze and control non-linear dynamical systems ranging from physics to biology. Owing to their universal approximation capabilities, they regularly outperform state-of-the-art model-driven methods in terms of accuracy, computational speed, and/or control capabilities. On the other hand, neural networks are very often they are taken as black boxes whose explainability is challenged, among others, by huge amounts of trainable parameters. In this paper, we tackle the outstanding issue of analyzing the inner workings of neural networks trained to classify regular-versus-chaotic time series. This setting, well-studied in dynamical systems, enables thorough formal analyses. We focus specifically on a family of networks dubbed Large Kernel Convolutional Neural Networks (LKCNN), recently introduced by Boull\'{e} et al. (2021). These non-recursive networks have been shown to outperform other established architectures (e.g. residual networks, shallow neural networks and fully convolutional networks) at this classification task. Furthermore, they outperform ``manual'' classification approaches based on direct reconstruction of the Lyapunov exponent. We find that LKCNNs use qualitative properties of the input sequence. In particular, we show that the relation between input periodicity and activation periodicity is key for the performance of LKCNN models. Low performing models show, in fact, analogous periodic activations to random untrained models. This could give very general criteria for identifying, a priori, trained models that have poor accuracy.
• Abstract（参考訳）: ニューラルネットワークは、物理学から生物学まで、非線形力学系のモデル化、解析、制御にますます使われている。 普遍近似能力により、精度、計算速度、および/または制御能力の点で、最先端のモデル駆動手法を定期的に上回る。 一方、ニューラルネットワークは、非常に頻繁にブラックボックスとして扱われ、その説明可能性には、非常に多くのトレーニング可能なパラメータによって挑戦される。 本稿では,正規対カオス時系列の分類を訓練したニューラルネットワークの内部動作解析の際立った課題に挑戦する。 この設定は力学系においてよく研究されており、完全な形式解析を可能にする。 我々は,Boull\'{e} et al. (2021)によって最近導入されたLKCNN(Large Kernel Convolutional Neural Networks)と呼ばれるネットワーク群に注目した。 これらの非帰納的ネットワークは、この分類タスクにおいて他の確立されたアーキテクチャ(残差ネットワーク、浅いニューラルネットワーク、完全畳み込みネットワークなど)よりも優れていることが示されている。 さらに、リアプノフ指数の直接再構成に基づく「手動」分類法よりも優れている。 LKCNNは入力シーケンスの定性的特性を利用する。 特に,LKCNNモデルの性能評価において,入力周期性とアクティベーション周期の関係が重要であることを示す。 低い性能モデルでは、実際にランダムに訓練されていないモデルと類似の周期的アクティベーションが示される。 これは、精度の低い事前訓練されたモデルを特定するための非常に一般的な基準となる可能性がある。

関連論文リスト

• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training [2.1202971527014287]
  本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。 実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
  論文  参考訳（メタデータ） (2021-11-21T21:14:48Z)
• Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties [0.8484871864277639]
  完全連結ニューラルネットワークの構造と性能を解析するために,複素ネットワーク(CN)技術を提案する。 4万のモデルとそれぞれのCNプロパティでデータセットを構築します。 本研究は,完全連結ニューラルネットワークの性能において,CN特性が重要な役割を担っていることを示唆する。
  論文  参考訳（メタデータ） (2021-07-29T14:53:52Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Deep Randomized Neural Networks [12.333836441649343]
  ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
  論文  参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。