論文の概要: Representing Neural Network Layers as Linear Operations via Koopman Operator Theory

• arxiv url: http://arxiv.org/abs/2409.01308v1
• Date: Mon, 2 Sep 2024 15:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 06:25:12.783206
• Title: Representing Neural Network Layers as Linear Operations via Koopman Operator Theory
• Title（参考訳）: クープマン演算子理論によるニューラルネットワーク層を線形演算として表現する
• Authors: Nishant Suresh Aswani, Saif Eddin Jabari, Muhammad Shafique,
• Abstract要約: ニューラルネットワークの線形ビューにより、ネットワークの理解と制御がより容易になることを示す。 トレーニングされたデータセットの層をMDDモデルからの予測に置き換え、最大97.3%のmdoel精度を達成する。 さらに、MNISTデータセットでトレーニングされたレイヤを95.8%に置き換えます。
• 参考スコア（独自算出の注目度）: 9.558002301188091
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The strong performance of simple neural networks is often attributed to their nonlinear activations. However, a linear view of neural networks makes understanding and controlling networks much more approachable. We draw from a dynamical systems view of neural networks, offering a fresh perspective by using Koopman operator theory and its connections with dynamic mode decomposition (DMD). Together, they offer a framework for linearizing dynamical systems by embedding the system into an appropriate observable space. By reframing a neural network as a dynamical system, we demonstrate that we can replace the nonlinear layer in a pretrained multi-layer perceptron (MLP) with a finite-dimensional linear operator. In addition, we analyze the eigenvalues of DMD and the right singular vectors of SVD, to present evidence that time-delayed coordinates provide a straightforward and highly effective observable space for Koopman theory to linearize a network layer. Consequently, we replace layers of an MLP trained on the Yin-Yang dataset with predictions from a DMD model, achieving a mdoel accuracy of up to 97.3%, compared to the original 98.4%. In addition, we replace layers in an MLP trained on the MNIST dataset, achieving up to 95.8%, compared to the original 97.2% on the test set.
• Abstract（参考訳）: 単純なニューラルネットワークの強い性能は、しばしばその非線形活性化に起因する。 しかし、ニューラルネットワークの線形ビューは、ネットワークの理解と制御をよりアプローチしやすくする。 ニューラルネットワークの動的システムビューから、クープマン作用素理論と動的モード分解(DMD)との接続を利用して、新しい視点を提供する。 同時に、システムを適切な可観測空間に埋め込むことで、動的システムを線形化するフレームワークを提供する。 ニューラルネットワークを力学系として再フレーミングすることにより、事前学習された多層パーセプトロン(MLP)の非線形層を有限次元線形作用素に置き換えることができることを示す。 さらに、DMD の固有値と SVD の右特異ベクトルを分析し、時間遅延座標がネットワーク層を線形化するクープマン理論において、単純かつ高効率な観測可能空間を提供することを示す。 その結果、Yin-YangデータセットでトレーニングされたMLPの層をDMDモデルからの予測に置き換え、元の98.4%と比較して最大97.3%のmdoel精度を実現した。 さらに、MNISTデータセットでトレーニングされたMLPのレイヤを95.8%に置き換える。

関連論文リスト

• Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
  まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。 隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
  論文  参考訳（メタデータ） (2023-07-26T05:29:29Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Learning Linear Embeddings for Non-Linear Network Dynamics with Koopman Message Passing [0.0]
  我々は、クープマン作用素理論とメッセージパッシングネットワークに基づく新しいアプローチを提案する。 動的システムに対する線形表現は,任意の段階において世界規模で有効である。 本手法で得られた線形化は,現在の最先端技術よりも数桁優れたネットワーク力学問題に対して予測を行う。
  論文  参考訳（メタデータ） (2023-05-15T23:00:25Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Supervised Training of Siamese Spiking Neural Networks with Earth's Mover Distance [4.047840018793636]
  本研究は,高可逆性シアムニューラルネットモデルをイベントデータ領域に適応させる。 我々はスパイク・トレインとスパイク・ニューラル・ネットワーク(SNN)の間の地球のモーバー距離を最適化するための教師付きトレーニング・フレームワークを導入する。
  論文  参考訳（メタデータ） (2022-02-20T00:27:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the Application of Data-Driven Deep Neural Networks in Linear and Nonlinear Structural Dynamics [28.979990729816638]
  線形および非線形構造力学系のサロゲートとしてディープニューラルネットワーク(DNN)モデルを用いる。 焦点は、完全に接続された、疎結合で、畳み込みネットワーク層を使った効率的なネットワークアーキテクチャの開発である。 提案したDNNは,高調波負荷下での線形および非線形動的応答の予測に有効かつ正確なサロゲートとして利用できることを示す。
  論文  参考訳（メタデータ） (2021-11-03T13:22:19Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。