論文の概要: Extraction of nonlinearity in neural networks and model compression with Koopman operator

• arxiv url: http://arxiv.org/abs/2402.11740v1
• Date: Sun, 18 Feb 2024 23:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:07:03.049866
• Title: Extraction of nonlinearity in neural networks and model compression with Koopman operator
• Title（参考訳）: ニューラルネットにおける非線形性の抽出とkoopman演算子によるモデル圧縮
• Authors: Naoki Sugishita, Kayo Kinjo, Jun Ohkubo
• Abstract要約: 制限された非線形性は手書き数字の分類に十分であることを示す。 本稿では,資源制約のある環境での大規模ネットワーク処理に有用であるディープニューラルネットワークのモデル圧縮手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonlinearity plays a crucial role in deep neural networks. In this paper, we first investigate the degree to which the nonlinearity of the neural network is essential. For this purpose, we employ the Koopman operator, extended dynamic mode decomposition, and the tensor-train format. The results imply that restricted nonlinearity is enough for the classification of handwritten numbers. Then, we propose a model compression method for deep neural networks, which could be beneficial to handling large networks in resource-constrained environments. Leveraging the Koopman operator, the proposed method enables us to use linear algebra in the internal processing of neural networks. We numerically show that the proposed method performs comparably or better than conventional methods in highly compressed model settings for the handwritten number recognition task.
• Abstract（参考訳）: 非線形性はディープニューラルネットワークにおいて重要な役割を果たす。 本稿では,まず,ニューラルネットワークの非線形性が不可欠である程度について検討する。 この目的のために、koopman演算子、拡張動的モード分解、テンソル-トレイン形式を用いる。 結果は、制限された非線形性は手書き数字の分類に十分であることを示している。 そこで本研究では,資源制約環境下での大規模ネットワーク処理に有用なディープニューラルネットワークのモデル圧縮手法を提案する。 提案手法は,クープマン演算子を利用して,ニューラルネットワークの内部処理における線形代数の利用を可能にする。 提案手法は,手書き数認識タスクの高度圧縮モデル設定において,従来手法と同等かそれ以上の性能を示す。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Koopman operator learning using invertible neural networks [0.6846628460229516]
  クープマン作用素論において、有限次元非線形系は可観測関数の集合を用いて無限だが線型系に変換される。 現在の方法論は可観測関数の可逆性の重要性を無視し、不正確な結果をもたらす傾向にある。 本稿では,CF-INN(Coupling Flow Invertible Neural Network)フレームワークを利用したフローベース動的モード分解(FlowDMD)を提案する。
  論文  参考訳（メタデータ） (2023-06-30T04:26:46Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Physics-Informed Koopman Network [14.203407036091555]
  我々は、クープマン演算子を表現するために、物理インフォームドニューラルネットワークにインスパイアされた新しいアーキテクチャを提案する。 大規模なトレーニングデータセットの必要性を低減できるだけでなく、クープマン固有関数の近似における高い有効性も維持できることを示す。
  論文  参考訳（メタデータ） (2022-11-17T08:57:57Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels [5.286010070038216]
  そこで我々は,Koopman演算子(CKNet)に基づく畳み込みニューラルネットワーク(CNN)を提案し,生画素から潜時ダイナミクスを同定する。 実験では、32ディムの特定ダイナミクスが有効な120ステップを予測し、明確な画像を生成することが示されています。
  論文  参考訳（メタデータ） (2021-02-19T23:29:08Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)
• Optimizing Neural Networks via Koopman Operator Theory [6.09170287691728]
  クープマン作用素理論は近年、ニューラルネットワーク理論と密接に関連していることが示されている。 この作業では、この接続を利用するための第一歩を踏み出します。 クープマン作用素理論法は、非自明な訓練時間の範囲で、供給重みの重みと偏りの予測を可能にする。
  論文  参考訳（メタデータ） (2020-06-03T16:23:07Z)
• On the distance between two neural networks and the stability of learning [59.62047284234815]
  本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。 この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
  論文  参考訳（メタデータ） (2020-02-09T19:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。