論文の概要: Applications of Koopman Mode Analysis to Neural Networks

• arxiv url: http://arxiv.org/abs/2006.11765v1
• Date: Sun, 21 Jun 2020 11:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:57:16.504915
• Title: Applications of Koopman Mode Analysis to Neural Networks
• Title（参考訳）: クープマンモード解析のニューラルネットワークへの応用
• Authors: Iva Manojlovi\'c, Maria Fonoberova, Ryan Mohr, Aleksandr Andrej\v{c}uk, Zlatko Drma\v{c}, Yannis Kevrekidis, Igor Mezi\'c
• Abstract要約: 我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
• 参考スコア（独自算出の注目度）: 52.77024349608834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the training process of a neural network as a dynamical system acting on the high-dimensional weight space. Each epoch is an application of the map induced by the optimization algorithm and the loss function. Using this induced map, we can apply observables on the weight space and measure their evolution. The evolution of the observables are given by the Koopman operator associated with the induced dynamical system. We use the spectrum and modes of the Koopman operator to realize the above objectives. Our methods can help to, a priori, determine the network depth; determine if we have a bad initialization of the network weights, allowing a restart before training too long; speeding up the training time. Additionally, our methods help enable noise rejection and improve robustness. We show how the Koopman spectrum can be used to determine the number of layers required for the architecture. Additionally, we show how we can elucidate the convergence versus non-convergence of the training process by monitoring the spectrum, in particular, how the existence of eigenvalues clustering around 1 determines when to terminate the learning process. We also show how using Koopman modes we can selectively prune the network to speed up the training procedure. Finally, we show that incorporating loss functions based on negative Sobolev norms can allow for the reconstruction of a multi-scale signal polluted by very large amounts of noise.
• Abstract（参考訳）: 我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 各エポックは最適化アルゴリズムと損失関数によって誘導されるマップの応用である。 この誘導写像を用いて、重み空間に可観測物を適用し、それらの進化を測定することができる。 可観測物の進化は、誘導力学系に関連するクープマン作用素によって与えられる。 上記の目的を達成するために、koopman演算子のスペクトルとモードを使用する。 我々の手法は、優先順位によってネットワーク深さを決定するのに役立ち、ネットワークウェイトの初期化が悪いかどうかを判断し、トレーニングに時間がかかりすぎる前に再起動を可能にし、トレーニング時間を短縮する。 さらに,本手法は雑音の低減とロバスト性の向上に有効である。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 さらに、スペクトルを監視することにより、学習過程の収束と非収束を解明する方法、特に1周囲に集束する固有値の存在が学習過程の終了時期を決定する方法を示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。 最後に、負のソボレフノルムに基づく損失関数を組み込むことで、非常に大量のノイズに汚染されたマルチスケール信号の再構成が可能となることを示す。

関連論文リスト

• Gradient-free training of recurrent neural networks [3.272216546040443]
  本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。 このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。 時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
  論文  参考訳（メタデータ） (2024-10-30T21:24:34Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory [3.130109807128472]
  ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。 本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。 典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-02T06:34:27Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Denoising IMU Gyroscopes with Deep Learning for Open-Loop Attitude Estimation [0.0]
  本稿では,慣性計測ユニット(IMU)のジャイロスコープを地中真実データを用いて識別する学習手法を提案する。 得られたアルゴリズムは、(目に見えない)テストシーケンスで最先端の処理を行う。
  論文  参考訳（メタデータ） (2020-02-25T08:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。