Fugu-MT 論文翻訳(概要): RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators

論文の概要: RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators

arxiv url: http://arxiv.org/abs/2406.05470v1
Date: Sat, 8 Jun 2024 13:20:48 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 19:35:37.895082
Title: RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators
Title（参考訳）: RandONet:Shallow-Networks with Random Projections for Learning linear and linear operator
Authors: Gianluca Fabiani, Ioannis G. Kevrekidis, Constantinos Siettos, Athanasios N. Yannacopoulos,
Abstract要約: ランダムプロジェクションに基づく演算子ネットワーク(RandONets)を提案する。ランダムネット(RandONets)は、線形および非線形作用素を学習するランダムプロジェクションを持つ浅いネットワークである。このタスクにおいて、RandONetsは数値近似の精度と計算コストの両面で、バニラ"DeepOnetsよりも優れていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Operator Networks (DeepOnets) have revolutionized the domain of scientific machine learning for the solution of the inverse problem for dynamical systems. However, their implementation necessitates optimizing a high-dimensional space of parameters and hyperparameters. This fact, along with the requirement of substantial computational resources, poses a barrier to achieving high numerical accuracy. Here, inpsired by DeepONets and to address the above challenges, we present Random Projection-based Operator Networks (RandONets): shallow networks with random projections that learn linear and nonlinear operators. The implementation of RandONets involves: (a) incorporating random bases, thus enabling the use of shallow neural networks with a single hidden layer, where the only unknowns are the output weights of the network's weighted inner product; this reduces dramatically the dimensionality of the parameter space; and, based on this, (b) using established least-squares solvers (e.g., Tikhonov regularization and preconditioned QR decomposition) that offer superior numerical approximation properties compared to other optimization techniques used in deep-learning. In this work, we prove the universal approximation accuracy of RandONets for approximating nonlinear operators and demonstrate their efficiency in approximating linear nonlinear evolution operators (right-hand-sides (RHS)) with a focus on PDEs. We show, that for this particular task, RandONets outperform, both in terms of numerical approximation accuracy and computational cost, the ``vanilla" DeepOnets.
Abstract（参考訳）: Deep Operator Networks (DeepOnets)は、動的システムに対する逆問題の解決のために、科学機械学習の領域に革命をもたらした。しかし、それらの実装はパラメータとハイパーパラメータの高次元空間を最適化する必要がある。この事実は、かなりの計算資源の要求とともに、高い数値精度を達成するための障壁となる。ここでは、DeepONetsが仮定し、上記の課題に対処するため、ランダムプロジェクションに基づく演算子ネットワーク(RandONets):線形および非線形演算子を学習するランダムプロジェクションを持つ浅層ネットワークを提案する。 RandONetsの実装には以下のものがある。 a) ランダムベースを組み込むことにより、単一の隠蔽層を持つ浅層ニューラルネットワークの使用が可能になり、未知のものがネットワークの重み付けされた内部積の出力重みである。 b) 定式化最小二乗解法(例えば、チコノフ正則化と事前条件付きQR分解)を用いて、ディープラーニングで用いられる他の最適化手法と比較して、優れた数値近似特性を提供する。本研究では、非線形作用素を近似するためのRandONetsの普遍近似精度を証明し、PDEに着目した線形非線形進化作用素(右辺(RHS))の近似の効率を実証する。この特定のタスクにおいて、RandONetsは数値近似の精度と計算コストの両面において、‘vanilla’ DeepOnetsよりも優れていることを示す。

関連論文リスト

The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Latent Dynamics Networks (LDNets): learning the intrinsic dynamics of spatio-temporal processes [2.3694122563610924]
ラテント・ダイナミクス・ネットワーク(LDNet)は、非マルコフ力学系の低次元固有力学を発見できる。 LDNetは軽量で訓練が容易で、時間外挿方式でも精度と一般化性に優れている。
論文参考訳（メタデータ） (2023-04-28T21:11:13Z)
Learning in latent spaces improves the predictive accuracy of deep neural operators [0.0]
L-DeepONetは標準のDeepONetの拡張であり、高次元PDE入力の潜在表現と適切なオートエンコーダで識別される出力関数を利用する。 L-DeepONetは時間依存PDEの精度と計算効率の両面で標準手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-15T17:13:09Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。我々はUDNを実データと合成データに基づいて研究する。
論文参考訳（メタデータ） (2022-09-21T03:54:34Z)
A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文参考訳（メタデータ） (2021-06-06T10:06:07Z)
Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
論文参考訳（メタデータ） (2021-03-05T09:48:57Z)
Joint Deep Reinforcement Learning and Unfolding: Beam Selection and Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文参考訳（メタデータ） (2021-01-05T03:55:04Z)
Learning to Beamform in Heterogeneous Massive MIMO Networks [48.62625893368218]
大規模マルチインプット多重出力(MIMO)ネットワークにおいて最適なビームフォーマを見つけることはよく知られている問題である。本稿では,この問題に対処するための新しい深層学習に基づく論文アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-11-08T12:48:06Z)
Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
論文参考訳（メタデータ） (2020-02-29T17:18:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。