論文の概要: Inductive biases in deep learning models for weather prediction
- arxiv url: http://arxiv.org/abs/2304.04664v1
- Date: Thu, 6 Apr 2023 14:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 14:33:41.772543
- Title: Inductive biases in deep learning models for weather prediction
- Title(参考訳): 気象予測のためのディープラーニングモデルにおける誘導バイアス
- Authors: Jannik Thuemmel (1), Matthias Karlbauer (1), Sebastian Otte (1),
Christiane Zarfl (1), Georg Martius (2), Nicole Ludwig (1), Thomas Scholten
(1), Ulrich Friedrich (3), Volker Wulfmeyer (4), Bedartha Goswami (1), Martin
V. Butz (1) ((1) University of T\"ubingen, (2) Max Planck Institute for
Intelligent Systems, (3) Deutscher Wetterdienst, (4) University of Hohenheim)
- Abstract要約: 我々は6つの最先端のディープラーニング天気予報モデルの帰納バイアスをレビューし分析する。
5つの設計要素のそれぞれの設計選択が構造的仮定にどのように関係しているかを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has recently gained immense popularity in the Earth sciences as
it enables us to formulate purely data-driven models of complex Earth system
processes. Deep learning-based weather prediction (DLWP) models have made
significant progress in the last few years, achieving forecast skills
comparable to established numerical weather prediction (NWP) models with
comparatively lesser computational costs. In order to train accurate, reliable,
and tractable DLWP models with several millions of parameters, the model design
needs to incorporate suitable inductive biases that encode structural
assumptions about the data and modelled processes. When chosen appropriately,
these biases enable faster learning and better generalisation to unseen data.
Although inductive biases play a crucial role in successful DLWP models, they
are often not stated explicitly and how they contribute to model performance
remains unclear. Here, we review and analyse the inductive biases of six
state-of-the-art DLWP models, involving a deeper look at five key design
elements: input data, forecasting objective, loss components, layered design of
the deep learning architectures, and optimisation methods. We show how the
design choices made in each of the five design elements relate to structural
assumptions. Given recent developments in the broader DL community, we
anticipate that the future of DLWP will likely see a wider use of foundation
models -- large models pre-trained on big databases with self-supervised
learning -- combined with explicit physics-informed inductive biases that allow
the models to provide competitive forecasts even at the more challenging
subseasonal-to-seasonal scales.
- Abstract(参考訳): 深層学習は最近、複雑な地球系プロセスの純粋データ駆動モデルを定式化できるため、地球科学で大きな人気を集めています。
深層学習に基づく天気予報(DLWP)モデルはここ数年で大きく進歩し、比較的少ない計算コストで確立された数値天気予報(NWP)モデルに匹敵する予測スキルを達成した。
数百万のパラメータで正確で信頼性があり、抽出可能なDLWPモデルをトレーニングするために、モデル設計は、データとモデル化プロセスに関する構造的仮定を符号化する適切な帰納的バイアスを組み込む必要がある。
適切に選択すると、これらのバイアスはより高速な学習とより優れた一般化を可能にする。
インダクティブバイアスはdlwpモデルの成功において重要な役割を果たすが、しばしば明示的に述べられておらず、モデルのパフォーマンスにどのように寄与するかはいまだ不明である。
本稿では,6つの最先端dlwpモデルの帰納的バイアスをレビューおよび分析し,入力データ,予測対象,損失コンポーネント,ディープラーニングアーキテクチャの階層設計,最適化手法の5つの重要な設計要素を深く見ていく。
5つの設計要素のそれぞれの設計選択が構造的仮定にどのように関係しているかを示す。
近年のDLWPコミュニティの発展を踏まえると,DLWPの将来は,大規模データベースで事前訓練された大規模モデル – 自己教師付き学習による大規模モデル – と,より困難なサブシーズンからシーズンのスケールでも,モデルが競争力のある予測を提供する明示的な物理インフォームによる帰納的バイアス – を,より広範な利用が期待できる。
関連論文リスト
- Weather Prediction with Diffusion Guided by Realistic Forecast Processes [49.07556359513563]
気象予報に拡散モデル(DM)を適用した新しい手法を提案する。
提案手法は,同一のモデリングフレームワークを用いて,直接予測と反復予測の両方を実現できる。
我々のモデルの柔軟性と制御性は、一般の気象コミュニティにとってより信頼性の高いDLシステムに力を与えます。
論文 参考訳(メタデータ) (2024-02-06T21:28:42Z) - FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D
Variational Assimilation [71.21242137496031]
我々は,AIを用いた循環型天気予報システムFengWu-4DVarを開発した。
FengWu-4DVarは観測データをデータ駆動の天気予報モデルに組み込むことができる。
シミュレーションされた観測データセットの実験は、FengWu-4DVarが合理的な解析場を生成することができることを示した。
論文 参考訳(メタデータ) (2023-12-16T02:07:56Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - Deep learning models for price forecasting of financial time series: A
review of recent advancements: 2020-2022 [6.05458608266581]
ディープラーニングモデルは、価格予測タスクのための従来の統計モデルと機械学習モデルを置き換えるものだ。
このレビューは、ディープラーニングに基づく予測モデルについて深く掘り下げ、モデルアーキテクチャ、実践的応用、およびそれぞれの利点と欠点に関する情報を提示する。
この貢献には、価格予測のための複雑な構造を持つディープラーニングモデルの有効性を検討するなど、将来の研究に向けた潜在的方向性も含まれている。
論文 参考訳(メタデータ) (2023-04-21T03:46:09Z) - Online learning techniques for prediction of temporal tabular datasets
with regime changes [0.0]
時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。
パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。
モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
論文 参考訳(メタデータ) (2022-12-30T17:19:00Z) - Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。
ニューラル微分方程式モデルに基づく新しい手法を提案する。
我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
論文 参考訳(メタデータ) (2022-07-21T12:11:18Z) - Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。
ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。
本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
論文 参考訳(メタデータ) (2021-01-06T16:18:04Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Short-Term Load Forecasting using Bi-directional Sequential Models and
Feature Engineering for Small Datasets [6.619735628398446]
本稿では,双方向逐次モデルに基づく短期負荷予測のためのディープラーニングアーキテクチャを提案する。
提案したアーキテクチャでは、生の入力と手作りの特徴を異なるレベルで訓練し、それぞれの出力を組み合わせて最終的な予測を行う。
提案手法の有効性は, 全く異なるパターンを持つ5カ国のデータセットを用いて評価した。
論文 参考訳(メタデータ) (2020-11-28T14:11:35Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳(メタデータ) (2020-05-13T04:03:21Z) - Energy Predictive Models for Convolutional Neural Networks on Mobile
Platforms [0.0]
モバイルデバイスにディープラーニングモデルをデプロイする場合、エネルギー利用は重要な懸念事項である。
我々はJetson TX1とSnapdragon 820上に12の代表的なConvolutional NeuralNetworks(ConvNets)を用いて、完全な接続層とプール層のための層型予測モデルを構築した。
ハードウェアとソフトウェアの組み合わせによるテストConvNetの全体的なエネルギー予測において,精度は76%から85%,モデル複雑度は1。
論文 参考訳(メタデータ) (2020-04-10T17:35:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。