論文の概要: On the Value of Tokeniser Pretraining in Physics Foundation Models

• arxiv url: http://arxiv.org/abs/2603.05598v2
• Date: Wed, 11 Mar 2026 18:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.415778
• Title: On the Value of Tokeniser Pretraining in Physics Foundation Models
• Title（参考訳）: 物理基礎モデルにおける剣術事前訓練の意義について
• Authors: Hadi Sotoudeh, Payel Mukhopadhyay, Ruben Ohana, Michael McCabe, Neil D. Lawrence, Shirley Ho, Miles Cranmer,
• Abstract要約: 物理エミュレーションシミュレーションの精度と効率に及ぼすトークンプリトレーニングの影響について検討する。 本研究では,物理エミュレーションの計算効率を高めるために,動的モデルのトレーニングに先立って,自動符号化の目標でトークンを事前学習することを示す。
• 参考スコア（独自算出の注目度）: 7.911638286054963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the impact of tokeniser pretraining on the accuracy and efficiency of physics emulation. Modern high-resolution simulations produce vast volumes of data spanning diverse physical regimes and scales. Training foundation models to learn the dynamics underlying such data enables the modelling of complex multiphysics phenomena, especially in data-limited settings. The emerging class of physics foundation models typically aims to learn two tasks jointly: (i) extracting compact representations of high-resolution spatiotemporal data, and (ii) capturing governing physical dynamics. However, learning both tasks from scratch simultaneously can impede the effectiveness of either process. We show that pretraining the tokeniser with an autoencoding objective prior to training the dynamics model enhances computational efficiency for physics emulation. Notably, the magnitude of this benefit depends on domain alignment: pretraining on the same physical system as the emulation task yields the largest improvements, while pretraining on other systems provides moderate gains. In-domain pretraining reduces VRMSE by 64% after 10,500 training steps compared to training from scratch. To our knowledge, this is the first systematic investigation of tokeniser pretraining for physics foundation models. We further introduce flexible spatiotemporal compression operations that extend causal convolutions to support runtime-adjustable compression ratios, enabling efficient adaptation to diverse downstream tasks. Our findings provide practical guidance for training efficient physics emulators and highlight the importance of strategic pretraining data selection.
• Abstract（参考訳）: 本研究では,トークンプリトレーニングが物理エミュレーションの精度と効率に与える影響について検討する。 現代の高解像度シミュレーションは、多様な物理レギュレーションとスケールにまたがる膨大な量のデータを生成する。 このようなデータの基礎となる力学を学習するための基礎モデルの訓練は、特にデータ制限された設定において、複雑な多物理現象のモデリングを可能にする。 物理基礎モデルの新たなクラスは、一般的に2つのタスクを共同で学習することを目的としています。 一 高分解能時空間データのコンパクト表現の抽出及び (二)物理力学の統括をつかさどる。 しかしながら、両方のタスクをスクラッチから同時に学習することは、どちらのプロセスの有効性を阻害する可能性がある。 本研究では,物理エミュレーションの計算効率を高めるために,動的モデルのトレーニングに先立って,自動符号化の目標でトークンを事前学習することを示す。 特に、この利点の規模はドメインのアライメントに依存し、エミュレーションタスクと同じ物理システムで事前トレーニングを行うことで最大の改善が得られ、他のシステムでの事前トレーニングは適度な利益をもたらす。 ドメイン内事前トレーニングは、スクラッチからのトレーニングと比較して、10,500のトレーニングステップの後、VRMSEを64%削減する。 我々の知る限り、これは物理基礎モデルのためのトークンプリトレーニングに関する最初の体系的な研究である。 さらに、実行時調整可能な圧縮比をサポートするために因果的畳み込みを拡張するフレキシブルな時空間圧縮操作を導入し、様々な下流タスクへの効率的な適応を可能にする。 本研究は,効率的な物理エミュレータを訓練するための実践的ガイダンスを提供し,戦略的事前学習データ選択の重要性を強調した。

関連論文リスト

• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
  機械学習型原子間ポテンシャル(MLIP)のトレーニングのための物理インフォームド・弱教師付きアプローチを導入する。 我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。 我々のアプローチは、スパースで高精度なアブ・イニシアチブデータに基づく基礎モデルの微調整を改善する。
  論文  参考訳（メタデータ） (2024-07-23T12:49:04Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Multiple Physics Pretraining for Physical Surrogate Models [41.26924657687872]
  物理モデリングのための自己認識型タスク・時間事前学習手法であるMultiple Physics Pretraining (MPP)を導入する。 MPPでは、特定の物理システム上で1つのモデルをトレーニングするのではなく、バックボーンモデルをトレーニングし、複数の異種物理システムのダイナミクスを予測する。 1つのMPP事前学習変換器は、事前学習タスクと下流タスクの両方において、タスク固有のベースラインを一致または向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-10-04T17:29:19Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Multi-Stage Influence Function [97.19210942277354]
  我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。 本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
  論文  参考訳（メタデータ） (2020-07-17T16:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。