論文の概要: Multiple Physics Pretraining for Physical Surrogate Models

• arxiv url: http://arxiv.org/abs/2310.02994v1
• Date: Wed, 4 Oct 2023 17:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:40:21.453369
• Title: Multiple Physics Pretraining for Physical Surrogate Models
• Title（参考訳）: 物理サロゲートモデルのための多重物理事前学習
• Authors: Michael McCabe, Bruno R\'egaldo-Saint Blancard, Liam Holden Parker, Ruben Ohana, Miles Cranmer, Alberto Bietti, Michael Eickenberg, Siavash Golkar, Geraud Krawezik, Francois Lanusse, Mariel Pettee, Tiberiu Tesileanu, Kyunghyun Cho, Shirley Ho
• Abstract要約: 物理代理モデルのための自己回帰型タスク非依存型事前学習手法である多重物理事前学習(MPP)を導入する。 我々は,幅広い流体力学のベンチマークを用いて,事前学習と下流作業に対するアプローチの有効性を検証した。 下流タスクでは、MPPを訓練したモデルを微調整することで、新しい物理の複数の時間ステップでより正確な予測が可能になることを実証する。
• 参考スコア（独自算出の注目度）: 42.19323262199993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce multiple physics pretraining (MPP), an autoregressive task-agnostic pretraining approach for physical surrogate modeling. MPP involves training large surrogate models to predict the dynamics of multiple heterogeneous physical systems simultaneously by learning features that are broadly useful across diverse physical tasks. In order to learn effectively in this setting, we introduce a shared embedding and normalization strategy that projects the fields of multiple systems into a single shared embedding space. We validate the efficacy of our approach on both pretraining and downstream tasks over a broad fluid mechanics-oriented benchmark. We show that a single MPP-pretrained transformer is able to match or outperform task-specific baselines on all pretraining sub-tasks without the need for finetuning. For downstream tasks, we demonstrate that finetuning MPP-trained models results in more accurate predictions across multiple time-steps on new physics compared to training from scratch or finetuning pretrained video foundation models. We open-source our code and model weights trained at multiple scales for reproducibility and community experimentation.
• Abstract（参考訳）: 本稿では,物理サロゲートモデリングのための自己回帰型タスク非依存事前学習手法であるmultiple physics pretraining (mpp)を導入する。 MPPは、様々な物理タスクで広く有用な特徴を学習することで、複数の異種物理システムのダイナミクスを同時に予測する大規模な代理モデルを訓練する。 この環境で効果的に学習するために、複数のシステムの分野を単一の共有埋め込み空間に投影する共有埋め込みおよび正規化戦略を導入する。 我々は,幅広い流体力学のベンチマークを用いて,事前学習と下流作業に対するアプローチの有効性を検証した。 単一MPP事前学習変換器は、微調整を必要とせず、全ての事前学習サブタスクにおいてタスク固有のベースラインにマッチまたは性能を発揮可能であることを示す。 ダウンストリームタスクでは,MPPをトレーニングしたモデルが,スクラッチやビデオ基礎モデルの微調整に比べて,新しい物理の複数の段階においてより正確な予測を行うことを示す。 再現性とコミュニティ実験のために,複数のスケールでトレーニングされたコードとモデルウェイトをオープンソースとして公開しています。

関連論文リスト

• Physics-Guided Foundation Model for Scientific Discovery: An Application to Aquatic Science [13.28811382673697]
  事前学習したMLモデルと物理モデルを組み合わせたtextittextbfPhysics-textbfGuided textbfFoundation textbfModel(textbfPGFM)を提案する。 実世界の湖沼における水温と溶存酸素動態のモデル化における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-10T00:48:10Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Spindle: Efficient Distributed Training of Multi-Task Large Models via Wavefront Scheduling [35.06717005729781]
  Spindleは、マルチタスク(MT)マルチモーダル(MM)モデルのウェーブフロントスケジューリングによるリソース効率のトレーニングに適した、新しいトレーニングシステムである。 実験では、スピンドルの性能と効率が向上し、スピードアップ比は最先端のトレーニングシステムと比較して最大71%向上した。
  論文  参考訳（メタデータ） (2024-09-05T09:10:40Z)
• POA: Pre-training Once for Models of All Sizes [33.72644336390202]
  我々はPOA(Pre-Treating Once for All)と呼ばれる新しい三枝型自己教師型トレーニングフレームワークを提案する。 我々のアプローチは、革新的な弾性的な学生分岐を近代的な自己蒸留パラダイムに導入する。 ViT、Swin Transformer、ResNetのバックボーンを使って最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-08-02T06:13:29Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。