論文の概要: How Does Distribution Shift Shape Pretraining Gains in Neural PDE Surrogates?

• arxiv url: http://arxiv.org/abs/2609.20814v1
• Date: Thu, 17 Sep 2026 17:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.427886
• Title: How Does Distribution Shift Shape Pretraining Gains in Neural PDE Surrogates?
• Title（参考訳）: ニューラルPDEサロゲートにおける分布シフトの事前調整方法
• Abstract要約: ニューラルPDEサロゲートの事前トレーニングは、幾何学やモデル化された物理変化に必要な新しいCFDデータの量を減らすことができる。 我々は、1つの翼ファミリーから254,909 RANS溶液でサロゲートをプレトレーニングし、2つの目標設定の下で新しいファミリーで微調整する。 これらの結果から, 事前学習値は, 対象データ予算, 対象データカバレッジ, および, モデル物理学における原点と目標の相違によることがわかった。
• 参考スコア（独自算出の注目度）: 1.9500886760872191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining a neural PDE surrogate can reduce the amount of new CFD data needed when geometry or modeled physics changes. However, it remains unclear how different components of distribution shift affect this benefit. We pretrain a surrogate on 254,909 RANS solutions from one airfoil family and fine-tune it on a new family under two target settings with matched freestream ranges: the same Spalart-Allmaras (SA) modeling and SA with added $e^N$ transition modeling. At $N=1000$, the pretrained model matches the accuracy of a model trained from scratch on $3.25\times$ as many samples for the same-SA target, but $2.58\times$ as many for the transition-modeled target. By $N=5000$, this ordering reverses ($1.56\times$ versus $1.86\times$). At $N=1000$, sampling more distinct airfoils lowers error on both targets, but only for the same-SA target is the gain increase larger than the observed draw-to-draw variation ($3.3\times$ to $4.0\times$). These results show that pretraining value depends jointly on target-data budget, target-data coverage, and whether source and target differ in modeled physics.
• Abstract（参考訳）: ニューラルPDEサロゲートの事前トレーニングは、幾何学やモデル化された物理変化に必要な新しいCFDデータの量を減らすことができる。 しかし、分布シフトの異なるコンポーネントがこの利点にどのように影響するかは、まだ不明である。 1つの翼のファミリーから254,909 RANS溶液にサロゲートをプリトレーニングし、それにマッチする2つのフリーストリーム領域(SA)モデルと、e^N$遷移モデルを加えたSAの2つのターゲット設定の下で、新しいファミリーに微調整する。 N=1000ドルと、事前訓練されたモデルは、スクラッチから訓練されたモデルの精度と、同じSAターゲットのサンプル数$3.25\times$と一致するが、遷移モデルの対象の2.58\times$と一致する。 N=5000$では、この順序は逆になる(1.56\times$対1.86\times$)。 N=1000$で、より異なる翼のサンプリングは両方の目標の誤差を下げるが、同じSAの目標に対してのみ、観測されたドロー・ツー・ドローのバリエーション(3.3\times$から4.0\times$)よりも大きなゲインの増加となる。 これらの結果から, 事前学習値は, 対象データ予算, 対象データカバレッジ, および, モデル物理学における原点と目標の相違によることがわかった。

関連論文リスト

• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
  混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。 本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。 本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
  論文  参考訳（メタデータ） (2026-07-14T02:08:33Z)
• RiT: Vanilla Diffusion Transformers Suffice in Representation Space [12.711808725422108]
  x$prediction とのフローマッチングは、ピクセル空間 citeli2025back において、低次元多様体構造を効果的に活用することが知られている。 事前学習された表現空間は、本質的な次元に匹敵する低次元データ多様体を含むが、フローマッチング学習に好適な分布を提供するかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-21T04:21:43Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した 本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。 我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。 LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• PFGM++: Unlocking the Potential of Physics-Inspired Generative Models [14.708385906024546]
  PFGM++と呼ばれる物理に着想を得た新しい生成モデルを導入する。 これらのモデルは、$N+D$次元空間に経路を埋め込むことにより、$N$次元データの生成軌道を実現する。 有限$D$のモデルは、従来の最先端拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T18:58:02Z)
• Inner Ensemble Networks: Average Ensemble as an Effective Regularizer [20.33062212014075]
  内部アンサンブルネットワーク(IEN)は、モデル複雑性を増大させることなく、ニューラルネットワーク自体内の分散を減少させる。 IENは、トレーニングフェーズ中にアンサンブルパラメータを使用して、ネットワークのばらつきを低減する。
  論文  参考訳（メタデータ） (2020-06-15T11:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。