論文の概要: Walrus: A Cross-Domain Foundation Model for Continuum Dynamics

• arxiv url: http://arxiv.org/abs/2511.15684v1
• Date: Wed, 19 Nov 2025 18:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.940154
• Title: Walrus: A Cross-Domain Foundation Model for Continuum Dynamics
• Title（参考訳）: Walrus: 連続体ダイナミクスのためのクロスドメインファンデーションモデル
• Authors: Michael McCabe, Payel Mukhopadhyay, Tanya Marwah, Bruno Regaldo-Saint Blancard, Francois Rozet, Cristiana Diaconu, Lucas Meyer, Kaze W. K. Wong, Hadi Sotoudeh, Alberto Bietti, Irina Espejo, Rio Fear, Siavash Golkar, Tom Hehir, Keiya Hirashima, Geraud Krawezik, Francois Lanusse, Rudy Morel, Ruben Ohana, Liam Parker, Mariel Pettee, Jeff Shen, Kyunghyun Cho, Miles Cranmer, Shirley Ho,
• Abstract要約: ファンデーションモデルは、言語とビジョンのために機械学習を変革してきたが、物理シミュレーションに匹敵する影響を達成することは、依然として課題である。 We developed Walrus, a transformer-based foundation model developed for fluid-like dynamics。 ワラスは、天体物理学、地球科学、レオロジー、プラズマ物理学、音響学、古典流体など、19の多様なシナリオで事前訓練されている。
• 参考スコア（独自算出の注目度）: 36.57944075299211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have transformed machine learning for language and vision, but achieving comparable impact in physical simulation remains a challenge. Data heterogeneity and unstable long-term dynamics inhibit learning from sufficiently diverse dynamics, while varying resolutions and dimensionalities challenge efficient training on modern hardware. Through empirical and theoretical analysis, we incorporate new approaches to mitigate these obstacles, including a harmonic-analysis-based stabilization method, load-balanced distributed 2D and 3D training strategies, and compute-adaptive tokenization. Using these tools, we develop Walrus, a transformer-based foundation model developed primarily for fluid-like continuum dynamics. Walrus is pretrained on nineteen diverse scenarios spanning astrophysics, geoscience, rheology, plasma physics, acoustics, and classical fluids. Experiments show that Walrus outperforms prior foundation models on both short and long term prediction horizons on downstream tasks and across the breadth of pretraining data, while ablation studies confirm the value of our contributions to forecast stability, training throughput, and transfer performance over conventional approaches. Code and weights are released for community use.
• Abstract（参考訳）: ファンデーションモデルは、言語とビジョンのために機械学習を変革してきたが、物理シミュレーションに匹敵する影響を達成することは、依然として課題である。 データの不均一性と不安定な長期ダイナミクスは、十分に多様なダイナミクスからの学習を阻害する一方で、様々な解像度と次元は、現代のハードウェアにおける効率的なトレーニングに挑戦する。 実験的および理論的解析を通じて、調和解析に基づく安定化法、負荷バランスの分散2Dおよび3Dトレーニング戦略、計算適応トークン化など、これらの障害を緩和する新たなアプローチを取り入れた。 これらのツールを用いて,流体様連続体力学を主目的とするトランスフォーマーベース基礎モデルであるWalrusを開発した。 ワラスは、天体物理学、地球科学、レオロジー、プラズマ物理学、音響学、古典流体など、19の多様なシナリオで事前訓練されている。 実験により、Walrusは、下流タスクと事前学習データの範囲において、短期的および長期的予測地平線において、事前基礎モデルよりも優れており、一方、アブレーション研究では、従来の手法よりも予測安定性、トレーニングスループット、転送性能に対する私たちの貢献の価値が確認されている。 コードとウェイトはコミュニティ利用のためにリリースされている。

関連論文リスト

• Learning Robust Satellite Attitude Dynamics with Physics-Informed Normalising Flow [2.7222301668137483]
  宇宙機の姿勢力学の学習に物理インフォームドニューラルネットワークを組み込むことの利点について検討する。 バシリスクシミュレータで生成されたシミュレーションデータに基づいて複数のモデルを訓練する。 PINNベースのモデルは、制御精度とロバスト性の観点から、純粋にデータ駆動モデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-08-11T10:50:49Z)
• Finetuning a Weather Foundation Model with Lightweight Decoders for Unseen Physical Processes [25.060915780441086]
  本研究では,水文学変数の予測における最先端のオーロラ基礎モデルの性能評価を行った。 我々は、これらの新しい変数を予測するために、事前訓練されたモデルの潜在表現に基づいて訓練された浅層デコーダを用いた軽量なアプローチを導入する。
  論文  参考訳（メタデータ） (2025-06-23T20:03:53Z)
• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• PINP: Physics-Informed Neural Predictor with latent estimation of fluid flows [11.102585080028945]
  そこで本研究では,物理量の結合を予測プロセスに組み込む物理インフォームドラーニング手法を提案する。 物理方程式を組み込むことで,時間外挿と空間一般化能力を示す。
  論文  参考訳（メタデータ） (2025-04-08T14:11:01Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
  我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。 モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。 本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
  論文  参考訳（メタデータ） (2022-10-04T06:32:45Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。