論文の概要: Long-Term Auto-Regressive Prediction using Lightweight AI Models: Adams-Bashforth Time Integration with Adaptive Multi-Step Rollout

• arxiv url: http://arxiv.org/abs/2412.05657v2
• Date: Fri, 07 Mar 2025 10:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:20:34.524148
• Title: Long-Term Auto-Regressive Prediction using Lightweight AI Models: Adams-Bashforth Time Integration with Adaptive Multi-Step Rollout
• Title（参考訳）: 軽量AIモデルを用いた長期自己回帰予測:適応型マルチステップロールアウトによるAdams-Bashforth時間統合
• Authors: Sunwoong Yang, Ricardo Vinuesa, Namwoo Kang,
• Abstract要約: 本研究では,科学的機械学習モデルにおける時間的自己回帰予測における誤り蓄積の課題に対処する。 本稿では,2段階のAdams-Bashforthスキームを適応させて,自己回帰モデルにおけるロバスト性を高めるための時間積分法を包括的に分析する。 我々は、トレーニング中に複数の将来のロールアウトタイムステップを組み込んだ多段階戦略により、時間的予測精度を向上させる。
• 参考スコア（独自算出の注目度）: 2.3964255330849356
• License:
• Abstract: This study addresses the critical challenge of error accumulation in spatio-temporal auto-regressive predictions within scientific machine learning models by introducing innovative temporal integration schemes and adaptive multi-step rollout strategies. We present a comprehensive analysis of time integration methods, highlighting the adaptation of the two-step Adams-Bashforth scheme to enhance long-term prediction robustness in auto-regressive models. Additionally, we improve temporal prediction accuracy through a multi-step rollout strategy that incorporates multiple future time steps during training, supported by three newly proposed approaches that dynamically adjust the importance of each future step. Despite using an extremely lightweight graph neural network with just 1,177 trainable parameters and training on only 50 snapshots, our framework accurately predicts 350 future time steps (a 7:1 prediction-to-training ratio) achieving an error of only 1.6% compared to the vanilla auto-regressive approach. Moreover, our framework demonstrates an 83% improvement in rollout performance over the standard noise injection method, a standard technique for enhancing long-term rollout performance. Its effectiveness is further validated in more challenging scenarios with truncated meshes, showcasing its adaptability and robustness in practical applications. This work introduces a versatile framework for robust long-term spatio-temporal auto-regressive predictions that shows potential for mitigating error accumulation across various model types and engineering disciplines.
• Abstract（参考訳）: 本研究では,科学機械学習モデルにおける時空間自己回帰予測における誤り蓄積の重要な課題を,革新的な時空間統合手法と適応型多段階ロールアウト戦略を導入して解決する。 本稿では,2段階のAdams-Bashforthスキームを適応させて,自己回帰モデルにおける長期予測ロバスト性を高めるため,時間統合手法の包括的な解析を行う。 さらに、トレーニング中に複数の将来の時間ステップを組み込んだ多段階ロールアウト戦略により、時間的予測精度を向上し、各将来のステップの重要性を動的に調整する3つの新しいアプローチを新たに提案する。 トレーニング可能なパラメータがたった1,177である非常に軽量なグラフニューラルネットワークを使用し、50スナップショットしかトレーニングしていないにもかかわらず、我々のフレームワークは、バニラ自動回帰アプローチと比較して誤差がわずか1.6%である350の将来の時間ステップ(7:1の予測学習比率)を正確に予測しています。 さらに,本フレームワークは,長期ロールアウト性能向上のための標準手法である標準ノイズインジェクション法に対して,ロールアウト性能が83%向上したことを示す。 その効果は、メッシュを切断したより困難なシナリオでさらに検証され、実用アプリケーションにおける適応性と堅牢性を示している。 この研究は、様々なモデルタイプやエンジニアリング分野にわたってエラーの蓄積を緩和する可能性を示す、堅牢な長期的時空間自動回帰予測のための汎用的なフレームワークを導入している。

関連論文リスト

• Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach [2.4427666827706074]
  本稿では,観察から得られた模倣学習の新たなアプローチとして,専門家モデルの自己回帰混合を,その基礎となる方針に適合させる手法を提案する。 提案手法の有効性を,人間の実演から収集した2つの自律走行データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-11-12T22:56:28Z)
• Motion Forecasting via Model-Based Risk Minimization [8.766024024417316]
  複数モデルの予測に基づく軌道予測に適用可能な新しいサンプリング手法を提案する。 まず、予測確率に基づく従来のサンプリングは、モデル間のアライメントの欠如により性能を低下させることができることを示す。 基礎学習者として最先端モデルを用いて,最適軌道サンプリングのための多種多様な効果的なアンサンブルを構築した。
  論文  参考訳（メタデータ） (2024-09-16T09:03:28Z)
• Adaptive Planning with Generative Models under Uncertainty [20.922248169620783]
  生成モデルによる計画は、幅広い領域にわたる効果的な意思決定パラダイムとして現れてきた。 最新の環境観測に基づいて決定を下すことができるため、各段階での継続的再計画は直感的に思えるかもしれないが、かなりの計算上の課題をもたらす。 本研究は,長軸状態軌跡を予測できる生成モデルの能力を活用する,シンプルな適応計画手法を導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2024-08-02T18:07:53Z)
• Learning Long-Horizon Predictions for Quadrotor Dynamics [48.08477275522024]
  四元数に対する長軸予測力学を効率的に学習するための鍵となる設計選択について検討する。 逐次モデリング手法は,他のタイプの手法と比較して,合成誤差を最小限に抑える上での優位性を示す。 本稿では,モジュール性の向上を図りながら,学習プロセスをさらに単純化する,疎結合な動的学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T19:06:47Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Certified Human Trajectory Prediction [66.1736456453465]
  交通予知は自動運転車に不可欠な役割を担っている。 本稿では,軌道予測作業に適した認証手法を提案する。 非有界出力や変異モダリティを含む、軌道予測に関連する固有の課題に対処する。
  論文  参考訳（メタデータ） (2024-03-20T17:41:35Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• A Regret Minimization Approach to Iterative Learning Control [61.37088759497583]
  我々は、標準的な不確実性の仮定を最悪の場合の後悔に置き換える新しいパフォーマンスメトリック、計画後悔を提案します。 提案アルゴリズムがいくつかのベンチマークで既存の手法よりも優れているという理論的および実証的な証拠を提供します。
  論文  参考訳（メタデータ） (2021-02-26T13:48:49Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。