論文の概要: Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
- arxiv url: http://arxiv.org/abs/2012.09940v1
- Date: Thu, 17 Dec 2020 21:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:11:45.923698
- Title: Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
- Title（参考訳）: グラスマン層を有する浅部ReLUネットワークを用いた低次モデリング
- Authors: Kayla Bollinger and Hayden Schaeffer
- Abstract要約: 本稿では,構造化ニューラルネットワークを用いた方程式系の非線形モデル低減法を提案する。
本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a nonlinear model reduction method for systems of
equations using a structured neural network. The neural network takes the form
of a "three-layer" network with the first layer constrained to lie on the
Grassmann manifold and the first activation function set to identity, while the
remaining network is a standard two-layer ReLU neural network. The Grassmann
layer determines the reduced basis for the input space, while the remaining
layers approximate the nonlinear input-output system. The training alternates
between learning the reduced basis and the nonlinear approximation, and is
shown to be more effective than fixing the reduced basis and training the
network only. An additional benefit of this approach is, for data that lie on
low-dimensional subspaces, that the number of parameters in the network does
not need to be large. We show that our method can be applied to scientific
problems in the data-scarce regime, which is typically not well-suited for
neural network approximations. Examples include reduced order modeling for
nonlinear dynamical systems and several aerospace engineering problems.
- Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた方程式系の非線形モデル削減手法を提案する。
ニューラルネットワークは、グラスマン多様体上の第1層と同一性に設定された第1活性化関数を持つ「3層」ネットワークであり、残りのネットワークは標準の2層ReLUニューラルネットワークである。
グラスマン層は入力空間の低減基底を決定するが、残りの層は非線形入力出力系を近似する。
トレーニングは減弱基底と非線形近似の学習を交互に行い、減弱基底の修正やネットワークのみのトレーニングよりも効果的であることが示されている。
このアプローチのさらなる利点は、低次元の部分空間上にあるデータに対して、ネットワーク内のパラメータの数が大きくなる必要はないことである。
本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
例えば、非線形力学系の低次モデリングや、いくつかの航空宇宙工学の問題がある。
関連論文リスト
- GradINN: Gradient Informed Neural Network [2.287415292857564]
物理情報ニューラルネットワーク(PINN)にヒントを得た手法を提案する。
GradINNは、システムの勾配に関する事前の信念を利用して、予測関数の勾配を全ての入力次元にわたって制限する。
非時間依存システムにまたがる多様な問題に対するGradINNの利点を実証する。
論文 参考訳（メタデータ） (2024-09-03T14:03:29Z) - Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Adversarial Examples Exist in Two-Layer ReLU Networks for Low
Dimensional Linear Subspaces [24.43191276129614]
標準手法が非ロバストニューラルネットワークに繋がることを示す。
トレーニングアルゴリズムのスケールを縮小させるか、あるいは$L$正規化を加えることで、トレーニングされたネットワークが敵の摂動に対してより堅牢になることを示す。
論文 参考訳（メタデータ） (2023-03-01T19:10:05Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。
ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。
本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
論文 参考訳（メタデータ） (2020-10-29T21:43:00Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。