Fugu-MT 論文翻訳(概要): Transfer Learning Enhanced DeepONet for Long-Time Prediction of Evolution Equations

論文の概要: Transfer Learning Enhanced DeepONet for Long-Time Prediction of Evolution Equations

arxiv url: http://arxiv.org/abs/2212.04663v1
Date: Fri, 9 Dec 2022 04:37:08 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 16:25:06.844211
Title: Transfer Learning Enhanced DeepONet for Long-Time Prediction of Evolution Equations
Title（参考訳）: 進化方程式の長期予測のための移動学習強化DeepONet
Authors: Wuzhe Xu, Yulong Lu and Li Wang
Abstract要約: ディープオペレータネットワーク(DeepONet)は,様々な学習タスクにおいて大きな成功を収めている。本稿では,DeepONetを用いたエミュレーション学習による安定性向上を提案する。
参考スコア（独自算出の注目度）: 9.748550197032785
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep operator network (DeepONet) has demonstrated great success in various learning tasks, including learning solution operators of partial differential equations. In particular, it provides an efficient approach to predict the evolution equations in a finite time horizon. Nevertheless, the vanilla DeepONet suffers from the issue of stability degradation in the long-time prediction. This paper proposes a {\em transfer-learning} aided DeepONet to enhance the stability. Our idea is to use transfer learning to sequentially update the DeepONets as the surrogates for propagators learned in different time frames. The evolving DeepONets can better track the varying complexities of the evolution equations, while only need to be updated by efficient training of a tiny fraction of the operator networks. Through systematic experiments, we show that the proposed method not only improves the long-time accuracy of DeepONet while maintaining similar computational cost but also substantially reduces the sample size of the training set.
Abstract（参考訳）: deep operator network (deeponet) は偏微分方程式の解演算子の学習を含む様々な学習タスクで大きな成功を収めている。特に、有限時間軸における進化方程式を予測するための効率的なアプローチを提供する。それでも、バニラのDeepONetは長期予測の安定性低下の問題に悩まされている。本稿では,deeponet の安定性向上を支援する "em transfer-learning" を提案する。私たちのアイデアは、転送学習を使用して、異なる時間フレームで学習したプロパゲータのサロゲートとして、DeepONetsを逐次更新することです。進化するDeepONetsは、進化方程式の様々な複雑さをよりよく追跡できるが、演算子のネットワークのごく一部を効率的に訓練することでのみ更新する必要がある。系統的な実験により,提案手法はDeepONetの長期精度を向上すると同時に,類似の計算コストを維持しつつ,トレーニングセットのサンプルサイズを大幅に削減することを示した。

関連論文リスト

DeepOSets: Non-Autoregressive In-Context Learning of Supervised Learning Operators [11.913853433712855]
コンテキスト内演算子学習により、トレーニングされた機械学習モデルは、さらなるトレーニングをすることなく、ユーザのプロンプトから学習することができる。 DeepOSetsはDeepSetsアーキテクチャと組み合わせることで、Deep Operator Networks(DeepONets)にコンテキスト内学習機能を追加する。コンテキスト内演算子学習のための最初の非自動回帰モデルとして、DeepOSetsはユーザのプロンプトを並列に処理できるようにする。
論文参考訳（メタデータ） (2024-10-11T23:07:19Z)
On discretisation drift and smoothness regularisation in neural network training [0.0]
私たちは、最適化とモデル正規化に焦点をあてて、ディープラーニングの理解を改善するためのステップを作ることを目標としています。まず、最も一般的なディープラーニング最適化アルゴリズムに基づいて、離散時間アルゴリズムである勾配降下(GD)を調査することから始める。 NGFと異なり、これらの新たな流れは、教師付き学習や2人のプレイヤゲームで観察されるトレーニング不安定性など、GDの学習速度固有の振る舞いを記述するのに使用できる。そして、新しい学習率スケジュールと正則性を構築することにより、連続時間からの洞察を不安定なGDダイナミクスの緩和戦略に変換する。
論文参考訳（メタデータ） (2023-10-21T15:21:36Z)
Efficient Bayesian Updates for Deep Learning via Laplace Approximations [1.5996841879821277]
本稿では,ディープニューラルネットワークのための新しいベイズ更新手法を提案する。ラプラス近似のガウス後部分布に二階最適化手法を利用する。大規模な評価調査では、我々の更新がコストのかかるリトレーニングの高速で競争力のある代替手段であることを確認しています。
論文参考訳（メタデータ） (2022-10-12T12:16:46Z)
Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。私たちのコードは公開されます。
論文参考訳（メタデータ） (2022-02-23T18:23:07Z)
Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文参考訳（メタデータ） (2021-12-02T17:11:33Z)
Improved architectures and training algorithms for deep operator networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文参考訳（メタデータ） (2021-10-04T18:34:41Z)
Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文参考訳（メタデータ） (2021-04-21T11:12:35Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。