論文の概要: Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation

• arxiv url: http://arxiv.org/abs/2610.40857v1
• Date: Thu, 29 Oct 2026 18:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.471679
• Title: Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation
• Title（参考訳）: 物理ファンデーションのモデルがシミュレート・トゥ・レアル・アダプティブ(動画)
• Abstract要約: 連続体力学のためのSciFMであるWalrus-1.3Bにおける破滅的忘れについて検討した。 シミュレーションの微調整は、オリジナルの事前学習データセットのロールアウト性能を急速に低下させる。 次に、実データファインタニング中に1%のシミュレーションデータしか再生できないことが、失われたシミュレーション性能の大半を回復させることを示す。
• 参考スコア（独自算出の注目度）: 43.00226665670596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific foundation models (SciFMs) have achieved remarkable performance on a wide range of PDEs, including the ability to efficiently adapt to unseen data distributions with additional finetuning. As with all neural architectures, finetuning such models comes with the risk of catastrophic forgetting, whereby adapting to new tasks degrades prior knowledge of the model. We study catastrophic forgetting in Walrus-1.3B, a SciFM for continuum dynamics, over the course of a two-stage sim-to-real adaptation: first finetuning on simulated flow around a cylinder and then adapting to experimental data of the same system. We find that finetuning on the simulations rapidly degrades rollout performance on the original pretraining datasets, with one-step errors increasing up to 35x after just 20 epochs. Subsequent adaptation to real data further erodes performance on the simulated task. We characterize the potential drivers of forgetting, such as dataset dependence and task representation similarity. We then show that replaying as little as 1% simulated data during real-data finetuning recovers most of the lost simulation performance while retaining effective adaptation to the experimental dynamics. Our results identify catastrophic forgetting as a practical obstacle to sim-to-real adaptation of SciFMs and show that lightweight replay strategies significantly improve retention.
• Abstract（参考訳）: 科学基礎モデル (SciFMs) は、様々なPDEにおいて顕著な性能を達成しており、さらに微調整を加えて、目に見えないデータ分布に効率的に適応することができる。 すべてのニューラルアーキテクチャと同様に、そのようなモデルの微調整は破滅的な忘れ込みのリスクを伴い、新しいタスクに適応することでモデルの事前の知識が劣化する。 連続体力学のためのSciFMであるWalrus-1.3Bにおける破滅的忘れを、2段階のsim-to-real適応の過程で研究する。 シミュレーションの微調整は、オリジナルの事前学習データセットのロールアウト性能を急速に低下させ、わずか20時間後に1ステップのエラーが35倍に増加することがわかった。 その後の実際のデータへの適応は、シミュレーションされたタスクのパフォーマンスをさらに損なう。 データセット依存やタスク表現の類似性など,忘れることの潜在的な要因を特徴付ける。 そして、実データ微調整中に1%のシミュレーションデータしか再生できないことが、実験力学への効果的な適応を維持しつつ、失われたシミュレーション性能の大半を回復させることを示した。 以上の結果から,SciFMの実用的適応の障害として破滅的忘れが認められ,軽量リプレイ戦略が保持率を著しく向上させることが示された。

関連論文リスト

• Transfer Learning Across Fast- and Full-Simulation Domains in High-Energy Physics [10.078675569996992]
  本研究では,現実的な環境下での高速・完全シミュレーションデータセット間の伝達学習を体系的に研究する。 本稿では, 信号背景分類, クォークグルーオンジェットタグ付け, 横方向エネルギー再構成の3つの課題について考察する。 モデルはATLASライクな高速シミュレーションで事前訓練され、CMSライクな高速シミュレーションに適応し、完全なATLASオープンデータに適応する。
  論文  参考訳（メタデータ） (2026-05-08T09:18:34Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Bridging the Sim-to-Real Gap with Bayesian Inference [53.61496586090384]
  データからロボットダイナミクスを学習するためのSIM-FSVGDを提案する。 我々は、ニューラルネットワークモデルのトレーニングを規則化するために、低忠実度物理プリエンスを使用します。 高性能RCレースカーシステムにおけるSIM-to-realギャップのブリッジ化におけるSIM-FSVGDの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T11:29:32Z)
• Data-Driven Modeling with Experimental Augmentation for the Modulation Strategy of the Dual-Active-Bridge Converter [8.602361928123244]
  本稿では、電力変換器モデルのための実験拡張(D2EA)を用いた新しいデータ駆動モデリングを提案する。 D2EAでは、シミュレーションデータは基本的な機能的景観を確立することを目的としており、実験データは実世界の実際のパフォーマンスのマッチングに焦点を当てている。 提案したD2EAアプローチは、99.92%の効率モデリング精度を実現し、2kWのハードウェア実験において、その実現可能性を完全に検証している。
  論文  参考訳（メタデータ） (2023-07-30T08:52:05Z)
• Real-time simulation of viscoelastic tissue behavior with physics-guided deep learning [0.8250374560598492]
  軟部組織の変位場を粘弾性特性で予測する深層学習法を提案する。 提案手法は従来のCNNモデルよりも精度が高い。 本調査は,仮想現実における深層学習のギャップを埋めるのに役立つものと期待されている。
  論文  参考訳（メタデータ） (2023-01-11T18:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。