論文の概要: Extraction of nonlinearity in neural networks with Koopman operator

• arxiv url: http://arxiv.org/abs/2402.11740v2
• Date: Thu, 6 Jun 2024 00:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 21:22:40.178861
• Title: Extraction of nonlinearity in neural networks with Koopman operator
• Title（参考訳）: Koopman演算子を用いたニューラルネットワークにおける非線形性の抽出
• Authors: Naoki Sugishita, Kayo Kinjo, Jun Ohkubo,
• Abstract要約: ニューラルネットワークの非線形性が不可欠である程度について検討する。 我々は、Koopman演算子、拡張動的モード分解、テンソルトレイン形式を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonlinearity plays a crucial role in deep neural networks. In this paper, we investigate the degree to which the nonlinearity of the neural network is essential. For this purpose, we employ the Koopman operator, extended dynamic mode decomposition, and the tensor-train format. The Koopman operator approach has been recently developed in physics and nonlinear sciences; the Koopman operator deals with the time evolution in the observable space instead of the state space. Since we can replace the nonlinearity in the state space with the linearity in the observable space, it is a hopeful candidate for understanding complex behavior in nonlinear systems. Here, we analyze learned neural networks for the classification problems. As a result, the replacement of the nonlinear middle layers with the Koopman matrix yields enough accuracy in numerical experiments. In addition, we confirm that the pruning of the Koopman matrix gives sufficient accuracy even at high compression ratios. These results indicate the possibility of extracting some features in the neural networks with the Koopman operator approach.
• Abstract（参考訳）: 非線形性はディープニューラルネットワークにおいて重要な役割を果たす。 本稿では,ニューラルネットワークの非線形性が不可欠である程度について検討する。 この目的のために、Koopman演算子、拡張動的モード分解、テンソルトレイン形式を用いる。 クープマン作用素のアプローチは近年物理学や非線形科学において発展しており、クープマン作用素は状態空間の代わりに観測可能な空間における時間発展を扱う。 状態空間の非線形性を可観測空間の線型性に置き換えることができるので、非線形系における複素挙動を理解するための希望的な候補である。 ここでは,学習したニューラルネットワークを分類問題に対して解析する。 その結果、非線形中間層をクープマン行列に置き換えることで、数値実験で十分な精度が得られる。 さらに, 圧縮率が高い場合でも, クープマン行列のプルーニングによって十分な精度が得られることを確認した。 これらの結果は、ニューラルネットワークにおけるいくつかの特徴をクープマン演算子アプローチで抽出する可能性を示している。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Koopman operator learning using invertible neural networks [0.6846628460229516]
  クープマン作用素論において、有限次元非線形系は可観測関数の集合を用いて無限だが線型系に変換される。 現在の方法論は可観測関数の可逆性の重要性を無視し、不正確な結果をもたらす傾向にある。 本稿では,CF-INN(Coupling Flow Invertible Neural Network)フレームワークを利用したフローベース動的モード分解(FlowDMD)を提案する。
  論文  参考訳（メタデータ） (2023-06-30T04:26:46Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Physics-Informed Koopman Network [14.203407036091555]
  我々は、クープマン演算子を表現するために、物理インフォームドニューラルネットワークにインスパイアされた新しいアーキテクチャを提案する。 大規模なトレーニングデータセットの必要性を低減できるだけでなく、クープマン固有関数の近似における高い有効性も維持できることを示す。
  論文  参考訳（メタデータ） (2022-11-17T08:57:57Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels [5.286010070038216]
  そこで我々は,Koopman演算子(CKNet)に基づく畳み込みニューラルネットワーク(CNN)を提案し,生画素から潜時ダイナミクスを同定する。 実験では、32ディムの特定ダイナミクスが有効な120ステップを予測し、明確な画像を生成することが示されています。
  論文  参考訳（メタデータ） (2021-02-19T23:29:08Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)
• Optimizing Neural Networks via Koopman Operator Theory [6.09170287691728]
  クープマン作用素理論は近年、ニューラルネットワーク理論と密接に関連していることが示されている。 この作業では、この接続を利用するための第一歩を踏み出します。 クープマン作用素理論法は、非自明な訓練時間の範囲で、供給重みの重みと偏りの予測を可能にする。
  論文  参考訳（メタデータ） (2020-06-03T16:23:07Z)
• On the distance between two neural networks and the stability of learning [59.62047284234815]
  本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。 この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
  論文  参考訳（メタデータ） (2020-02-09T19:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。