論文の概要: Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
- arxiv url: http://arxiv.org/abs/2012.09940v1
- Date: Thu, 17 Dec 2020 21:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:11:45.923698
- Title: Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
- Title（参考訳）: グラスマン層を有する浅部ReLUネットワークを用いた低次モデリング
- Authors: Kayla Bollinger and Hayden Schaeffer
- Abstract要約: 本稿では,構造化ニューラルネットワークを用いた方程式系の非線形モデル低減法を提案する。
本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a nonlinear model reduction method for systems of
equations using a structured neural network. The neural network takes the form
of a "three-layer" network with the first layer constrained to lie on the
Grassmann manifold and the first activation function set to identity, while the
remaining network is a standard two-layer ReLU neural network. The Grassmann
layer determines the reduced basis for the input space, while the remaining
layers approximate the nonlinear input-output system. The training alternates
between learning the reduced basis and the nonlinear approximation, and is
shown to be more effective than fixing the reduced basis and training the
network only. An additional benefit of this approach is, for data that lie on
low-dimensional subspaces, that the number of parameters in the network does
not need to be large. We show that our method can be applied to scientific
problems in the data-scarce regime, which is typically not well-suited for
neural network approximations. Examples include reduced order modeling for
nonlinear dynamical systems and several aerospace engineering problems.
- Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた方程式系の非線形モデル削減手法を提案する。
ニューラルネットワークは、グラスマン多様体上の第1層と同一性に設定された第1活性化関数を持つ「3層」ネットワークであり、残りのネットワークは標準の2層ReLUニューラルネットワークである。
グラスマン層は入力空間の低減基底を決定するが、残りの層は非線形入力出力系を近似する。
トレーニングは減弱基底と非線形近似の学習を交互に行い、減弱基底の修正やネットワークのみのトレーニングよりも効果的であることが示されている。
このアプローチのさらなる利点は、低次元の部分空間上にあるデータに対して、ネットワーク内のパラメータの数が大きくなる必要はないことである。
本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
例えば、非線形力学系の低次モデリングや、いくつかの航空宇宙工学の問題がある。
関連論文リスト
- Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-02T01:08:29Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Model Fusion of Heterogeneous Neural Networks via Cross-Layer Alignment [17.735593218773758]
CLAFusionと呼ばれる新しいモデル融合フレームワークを提案し、異なる層でニューラルネットワークを融合させる。
階層間のアライメントに基づいて、階層モデル融合を適用する前に、ニューラルネットワークの層数のバランスをとる。
論文 参考訳（メタデータ） (2021-10-29T05:02:23Z) - A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。
本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
論文 参考訳（メタデータ） (2021-10-18T10:31:12Z) - A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文 参考訳（メタデータ） (2021-08-14T21:54:47Z) - Physics-Enforced Modeling for Insertion Loss of Transmission Lines by
Deep Neural Networks [4.762000720968522]
ニューラルネットワークの直接適用は、負の挿入損失を持つ非物理モデルにつながる可能性があることを示す。
1つの解決策は、受動的条件を表す規制項を最終損失関数に追加し、挿入損失の負の量を強制することである。
第2の方法では、挿入損失を近似する正性を保証する3階式を最初に定義する。
論文 参考訳（メタデータ） (2021-07-27T00:22:10Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - A Meta-Learning Approach to the Optimal Power Flow Problem Under
Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。
開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文 参考訳（メタデータ） (2020-12-21T17:39:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。