論文の概要: Towards Robust Spatio-Temporal Auto-Regressive Prediction: Adams-Bashforth Time Integration with Adaptive Multi-Step Rollout
- arxiv url: http://arxiv.org/abs/2412.05657v1
- Date: Sat, 07 Dec 2024 14:02:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 23:11:43.95996
- Title: Towards Robust Spatio-Temporal Auto-Regressive Prediction: Adams-Bashforth Time Integration with Adaptive Multi-Step Rollout
- Title(参考訳): ロバスト時空間自己回帰予測に向けて:Adams-Bashforth Time Integration with Adaptive Multi-Step Rollout
- Authors: Sunwoong Yang, Ricardo Vinuesa, Namwoo Kang,
- Abstract要約: 本研究では,科学的機械学習モデルにおける時間内自己回帰予測の誤りに対処する。
本稿では,長期予測の堅牢性を高めるための2段階のAdams-Bashforthスキームの適応性を明らかにする。
我々は、トレーニング中に複数の将来のロールアウトタイムステップを組み込んだ多段階戦略により、時間的予測精度を向上させる。
- 参考スコア(独自算出の注目度): 2.3964255330849356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study addresses the critical challenge of error accumulation in spatio-temporal auto-regressive predictions within scientific machine learning models by introducing innovative temporal integration schemes and adaptive multi-step rollout strategies. We present a comprehensive analysis of time integration methods, highlighting the adaptation of the two-step Adams-Bashforth scheme to enhance long-term prediction robustness in auto-regressive models. Additionally, we improve temporal prediction accuracy through a multi-step rollout strategy that incorporates multiple future time steps during training, supported by three newly proposed approaches that dynamically adjust the importance of each future step. By integrating the Adams-Bashforth scheme with adaptive multi-step strategies, our graph neural network-based auto-regressive model accurately predicts 350 future time steps, even under practical constraints such as limited training data and minimal model capacity -- achieving an error of only 1.6% compared to the vanilla auto-regressive approach. Moreover, our framework demonstrates an 83% improvement in rollout performance over the standard noise injection method, a standard technique for enhancing long-term rollout performance. Its effectiveness is further validated in more challenging scenarios with truncated meshes, showcasing its adaptability and robustness in practical applications. This work introduces a versatile framework for robust long-term spatio-temporal auto-regressive predictions, effectively mitigating error accumulation across various model types and engineering discipline.
- Abstract(参考訳): 本研究では,科学機械学習モデルにおける時空間自己回帰予測における誤り蓄積の重要な課題を,革新的な時空間統合手法と適応型多段階ロールアウト戦略を導入して解決する。
本稿では,2段階のAdams-Bashforthスキームを適応させて,自己回帰モデルにおける長期予測ロバスト性を高めるため,時間統合手法の包括的な解析を行う。
さらに、トレーニング中に複数の将来の時間ステップを組み込んだ多段階ロールアウト戦略により、時間的予測精度を向上し、各将来のステップの重要性を動的に調整する3つの新しいアプローチを新たに提案する。
適応的なマルチステップ戦略とAdams-Bashforthスキームを統合することで、私たちのグラフニューラルネットワークベースの自動回帰モデルは、限られたトレーニングデータや最小モデルのキャパシティといった実践的な制約の下でも、350の将来のタイムステップを正確に予測します。
さらに,本フレームワークは,長期ロールアウト性能向上のための標準手法である標準ノイズインジェクション法に対して,ロールアウト性能が83%向上したことを示す。
その効果は、メッシュを切断したより困難なシナリオでさらに検証され、実用アプリケーションにおける適応性と堅牢性を示している。
この研究は、様々なモデルタイプとエンジニアリング分野にわたるエラーの蓄積を効果的に軽減し、長期的時空間的自己回帰予測を堅牢にするための汎用的なフレームワークを導入している。
関連論文リスト
- PnP-DA: Towards Principled Plug-and-Play Integration of Variational Data Assimilation and Generative Models [0.1052166918701117]
地球系のモデリングは科学計算における根本的な課題である。
最も強力なAIや物理ベースの予測システムでさえ、徐々にエラーが蓄積される。
本稿では,背景予測に基づいて事前学習した事前条件を1つのフォワードパスで,軽量で勾配に基づく解析更新を置き換えるPlug-and-Playアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-08-01T05:19:19Z) - Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting [52.6508222408558]
Eucidated Rolling Diffusion Models (ERDM)を紹介する。
ERDMはEucidated Diffusion Models (EDM) の原理的, 性能的設計とローリング予測構造を統一する最初のフレームワークである
2D Navier-StokesシミュレーションとERA5グローバル気象予報の1.5円解像度では、ERDMはキー拡散ベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2025-06-24T21:44:31Z) - Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
論文 参考訳(メタデータ) (2025-05-08T17:58:45Z) - An Adaptive Framework for Autoregressive Forecasting in CFD Using Hybrid Modal Decomposition and Deep Learning [3.1337872355726084]
この研究は著者の知識を最大限に活用するために、ディープラーニング(DL)自己回帰予測モデルを長期間の地平線上で安定化させるために設計された、最初の一般化可能で完全なデータ駆動適応フレームワークを提示する。
提案手法は, (i) 訓練されたDLモデルを用いて, 選択した時間間隔で流れ場の進化を予測し, (ii) 安定度が低下した場合に新たに生成されたCFDデータを用いてモデルを更新することにより, 正確な長期予測を行う。
この枠組みは, 層流から乱流まで, より複雑化する3つの流路にまたがって検証され, 30%から95パーセントの範囲で実証された。
論文 参考訳(メタデータ) (2025-05-02T18:33:41Z) - Learning with Imperfect Models: When Multi-step Prediction Mitigates Compounding Error [25.387541996071093]
小さな予測ミスが時間の経過とともに蓄積される複合的エラーは、学習ベースの制御において大きな課題となる。
複合化エラーを軽減する1つのアプローチは、シングルステップモデルの自己回帰ロールアウトに頼るのではなく、マルチステップ予測を直接訓練することである。
モデルクラスが適切に特定され,システムダイナミクスを正確に捉えている場合,単一ステップモデルの方が予測誤差が低いことを示す。
一方、モデルクラスが部分可観測性のために不特定である場合、直接多段階予測器はバイアスを著しく低減し、単一ステップのアプローチより優れている。
論文 参考訳(メタデータ) (2025-04-02T14:18:52Z) - Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
教師なしのUpStepを紹介します。
ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。
私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
論文 参考訳(メタデータ) (2025-02-28T18:54:51Z) - HybridTrack: A Hybrid Approach for Robust Multi-Object Tracking [7.916733469603948]
HybridTrackは、車両のための新しい3Dマルチオブジェクトトラッキングアプローチである。
データ駆動型カルマンフィルタ(KF)をトラッキング・バイ・検出パラダイムに統合する。
82.72%のHOTA精度を実現し、最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2025-01-02T14:17:19Z) - Optimal Transport-Based Displacement Interpolation with Data Augmentation for Reduced Order Modeling of Nonlinear Dynamical Systems [0.0]
本稿では,複雑なシステムにおける非線形力学の表現を強化するために,最適輸送理論と変位を利用した新しいリダクション・オーダー・モデル(ROM)を提案する。
複雑なシステム挙動の予測における精度と効率の向上を示し、計算物理学や工学における幅広い応用の可能性を示している。
論文 参考訳(メタデータ) (2024-11-13T16:29:33Z) - Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach [2.4427666827706074]
本稿では,観察から得られた模倣学習の新たなアプローチとして,専門家モデルの自己回帰混合を,その基礎となる方針に適合させる手法を提案する。
提案手法の有効性を,人間の実演から収集した2つの自律走行データセットを用いて検証した。
論文 参考訳(メタデータ) (2024-11-12T22:56:28Z) - Annealed Winner-Takes-All for Motion Forecasting [48.200282332176094]
本稿では,AWTAの損失を最先端のモーション予測モデルと統合して性能を向上させる方法を示す。
我々の手法は、WTAを用いて訓練された任意の軌道予測モデルに容易に組み込むことができる。
論文 参考訳(メタデータ) (2024-09-17T13:26:17Z) - Motion Forecasting via Model-Based Risk Minimization [8.766024024417316]
複数モデルの予測に基づく軌道予測に適用可能な新しいサンプリング手法を提案する。
まず、予測確率に基づく従来のサンプリングは、モデル間のアライメントの欠如により性能を低下させることができることを示す。
基礎学習者として最先端モデルを用いて,最適軌道サンプリングのための多種多様な効果的なアンサンブルを構築した。
論文 参考訳(メタデータ) (2024-09-16T09:03:28Z) - Adaptive Planning with Generative Models under Uncertainty [20.922248169620783]
生成モデルによる計画は、幅広い領域にわたる効果的な意思決定パラダイムとして現れてきた。
最新の環境観測に基づいて決定を下すことができるため、各段階での継続的再計画は直感的に思えるかもしれないが、かなりの計算上の課題をもたらす。
本研究は,長軸状態軌跡を予測できる生成モデルの能力を活用する,シンプルな適応計画手法を導入することで,この問題に対処する。
論文 参考訳(メタデータ) (2024-08-02T18:07:53Z) - Learning Long-Horizon Predictions for Quadrotor Dynamics [48.08477275522024]
四元数に対する長軸予測力学を効率的に学習するための鍵となる設計選択について検討する。
逐次モデリング手法は,他のタイプの手法と比較して,合成誤差を最小限に抑える上での優位性を示す。
本稿では,モジュール性の向上を図りながら,学習プロセスをさらに単純化する,疎結合な動的学習手法を提案する。
論文 参考訳(メタデータ) (2024-07-17T19:06:47Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
論文 参考訳(メタデータ) (2024-03-28T22:45:38Z) - Certified Human Trajectory Prediction [66.1736456453465]
交通予知は自動運転車に不可欠な役割を担っている。
本稿では,軌道予測作業に適した認証手法を提案する。
非有界出力や変異モダリティを含む、軌道予測に関連する固有の課題に対処する。
論文 参考訳(メタデータ) (2024-03-20T17:41:35Z) - Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Stabilizing Machine Learning Prediction of Dynamics: Noise and
Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。
緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。
トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文 参考訳(メタデータ) (2022-11-09T23:40:52Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-04-27T16:56:09Z) - Learning Unstable Dynamics with One Minute of Data: A
Differentiation-based Gaussian Process Approach [47.045588297201434]
ガウス過程の微分可能性を利用して、真の連続力学の状態依存線形化近似を作成する方法を示す。
9次元セグウェイのような不安定なシステムのシステムダイナミクスを反復的に学習することで、アプローチを検証する。
論文 参考訳(メタデータ) (2021-03-08T05:08:47Z) - Learning Accurate Long-term Dynamics for Model-based Reinforcement
Learning [7.194382512848327]
より長い地平線で安定的に予測するために, 状態作用データに対する教師付き学習のための新しいパラメータ化を提案する。
シミュレーションおよび実験によるロボット作業の結果,軌道に基づくモデルにより,より正確な長期予測が得られた。
論文 参考訳(メタデータ) (2020-12-16T18:47:37Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳(メタデータ) (2020-06-07T13:38:32Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳(メタデータ) (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。