論文の概要: DON-LSTM: Multi-Resolution Learning with DeepONets and Long Short-Term
Memory Neural Networks
- arxiv url: http://arxiv.org/abs/2310.02491v1
- Date: Tue, 3 Oct 2023 23:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:11:24.236620
- Title: DON-LSTM: Multi-Resolution Learning with DeepONets and Long Short-Term
Memory Neural Networks
- Title(参考訳): DON-LSTM:DeepONetsと長期記憶ニューラルネットワークを用いた多解学習
- Authors: Katarzyna Micha{\l}owska and Somdatta Goswami and George Em
Karniadakis and Signe Riemer-S{\o}rensen
- Abstract要約: ディープオペレータネットワーク(DeepONets、DON)は、マルチレゾリューションデータでトレーニングできるという点で、従来のニューラルネットワークよりも明確なアドバンテージを提供する。
我々は,長期記憶ネットワーク(LSTM)でDeepONetを拡張した新しいアーキテクチャDON-LSTMを提案する。
提案した多分解能DON-LSTMは, 一般化誤差を著しく低減し, バニラに比べて高分解能サンプルを少なくすることを示した。
- 参考スコア(独自算出の注目度): 1.8434042562191815
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep operator networks (DeepONets, DONs) offer a distinct advantage over
traditional neural networks in their ability to be trained on multi-resolution
data. This property becomes especially relevant in real-world scenarios where
high-resolution measurements are difficult to obtain, while low-resolution data
is more readily available. Nevertheless, DeepONets alone often struggle to
capture and maintain dependencies over long sequences compared to other
state-of-the-art algorithms. We propose a novel architecture, named DON-LSTM,
which extends the DeepONet with a long short-term memory network (LSTM).
Combining these two architectures, we equip the network with explicit
mechanisms to leverage multi-resolution data, as well as capture temporal
dependencies in long sequences. We test our method on long-time-evolution
modeling of multiple non-linear systems and show that the proposed
multi-resolution DON-LSTM achieves significantly lower generalization error and
requires fewer high-resolution samples compared to its vanilla counterparts.
- Abstract(参考訳): ディープオペレータネットワーク(deeponets、dons)は、マルチレゾリューションデータでトレーニングされる能力において、従来のニューラルネットワークと異なるアドバンテージを提供する。
この性質は、高分解能の測定が困難である実世界のシナリオでは特に重要であり、低分解能データはより容易に利用できる。
それにもかかわらず、deeponetsだけでは、他の最先端アルゴリズムと比較して、長いシーケンスに対する依存関係の捕捉と維持に苦労することが多い。
本稿では,長い短期記憶ネットワーク(LSTM)でDeepONetを拡張した新しいアーキテクチャDON-LSTMを提案する。
これら2つのアーキテクチャを組み合わせることで、マルチレゾリューションデータを活用するための明示的なメカニズムと、長いシーケンスにおける時間的依存関係をキャプチャする。
提案手法は,複数非線形システムの長期進化モデリングにおいて,提案手法が一般化誤差を著しく低減し,バニラ法に比べて高分解能サンプルを少なくすることを示した。
関連論文リスト
- Multi-fidelity surrogate modeling using long short-term memory networks [0.0]
パラメタライズされた時間依存問題に対する多要素代理モデリングの新しいデータ駆動フレームワークを提案する。
提案した多要素LSTMネットワークは, シングルフィデリティ回帰を著しく向上するだけでなく, フィードフォワードニューラルネットワークに基づくマルチフィデリティモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-05T12:05:02Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳(メタデータ) (2022-02-11T10:33:53Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-11-07T03:50:50Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳(メタデータ) (2021-06-06T10:06:07Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z) - Hybrid Backpropagation Parallel Reservoir Networks [8.944918753413827]
本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。
我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。
また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
論文 参考訳(メタデータ) (2020-10-27T21:03:35Z) - OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling
Network [3.6683231417848283]
SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。
我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-05T22:10:29Z) - Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral
Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。
3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文 参考訳(メタデータ) (2020-07-10T08:08:20Z) - Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。
DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。
ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文 参考訳(メタデータ) (2020-06-22T08:20:17Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳(メタデータ) (2020-04-19T08:34:52Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳(メタデータ) (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。