論文の概要: Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
- arxiv url: http://arxiv.org/abs/2511.01830v1
- Date: Mon, 03 Nov 2025 18:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.371732
- Title: Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
- Title(参考訳): CFDにおけるニューラルサロゲートの多次元スケーリング法則に向けて
- Authors: Paul Setinek, Gianluca Galletti, Johannes Brandstetter,
- Abstract要約: スケーリング法則は、データ、パラメータ、計算によってモデルパフォーマンスがどのように成長するかを記述する。
低忠実度・高忠実度シミュレーションを用いて, ニューラルネットワークにおけるデータ忠実度とコストのトレードオフについて検討する。
本実験は, 計算性能のスケーリング挙動を明らかにし, 与えられたデータセット構成に対して, 予算依存の最適忠実度混合を示す。
- 参考スコア(独自算出の注目度): 21.38912245186567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling laws describe how model performance grows with data, parameters and compute. While large datasets can usually be collected at relatively low cost in domains such as language or vision, scientific machine learning is often limited by the high expense of generating training data through numerical simulations. However, by adjusting modeling assumptions and approximations, simulation fidelity can be traded for computational cost, an aspect absent in other domains. We investigate this trade-off between data fidelity and cost in neural surrogates using low- and high-fidelity Reynolds-Averaged Navier-Stokes (RANS) simulations. Reformulating classical scaling laws, we decompose the dataset axis into compute budget and dataset composition. Our experiments reveal compute-performance scaling behavior and exhibit budget-dependent optimal fidelity mixes for the given dataset configuration. These findings provide the first study of empirical scaling laws for multi-fidelity neural surrogate datasets and offer practical considerations for compute-efficient dataset generation in scientific machine learning.
- Abstract(参考訳): スケーリング法則は、データ、パラメータ、計算によってモデルパフォーマンスがどのように成長するかを記述する。
大規模なデータセットは通常、言語や視覚などの領域で比較的低コストで収集することができるが、科学的な機械学習は、数値シミュレーションを通じてトレーニングデータを生成するコストが高いため、しばしば制限される。
しかし、モデリングの仮定や近似を調整することで、シミュレーションの忠実さを計算コストで交換することができる。
本稿では,低密度かつ高密度のReynolds-Averaged Navier-Stokes(RANS)シミュレーションを用いて,ニューラルネットワークにおけるデータ忠実度とコストのトレードオフについて検討する。
古典的なスケーリング法則を改訂し、データセット軸を計算予算とデータセット構成に分解する。
本実験は, 計算性能のスケーリング挙動を明らかにし, 与えられたデータセット構成に対して, 予算依存の最適忠実度混合を示す。
これらの知見は、多要素ニューラルネットワークサロゲートデータセットに対する経験的スケーリング法則の最初の研究であり、科学機械学習における計算効率の高いデータセット生成のための実践的な考察を提供する。
関連論文リスト
- Neural Scaling Laws for Boosted Jet Tagging [0.22399170518036912]
計算のスケーリングは、モデルキャパシティとデータセットサイズを共同で増加させることで、現代の機械学習におけるパフォーマンスの主要な要因となります。
計算の最適スケーリング法則を導出し,計算量の増加によって一貫したアプローチが可能な有効な性能限界を同定する。
次に、入力特徴と粒子乗法の選択により、スケーリング係数と性能限界がどう変化するかを検討する。
論文 参考訳(メタデータ) (2026-02-17T18:13:01Z) - Data Value in the Age of Scaling: Understanding LLM Scaling Dynamics Under Real-Synthetic Data Mixtures [32.89034139737846]
大規模言語モデル(LLM)は、実データと合成データをブレンドするデータセット上に構築されている。
合成データはスケーラビリティとコスト効率を提供するが、しばしば系統的な分散の相違をもたらす。
本稿では,大規模データセットにスケールする効果的なデータ評価手法を提案する。
論文 参考訳(メタデータ) (2025-11-17T17:53:12Z) - Transfer learning for multifidelity simulation-based inference in cosmology [0.0]
ダークマターのみのN$-bodyシミュレーションの事前トレーニングは、高忠実度流体力学シミュレーションの必要な回数を8ドルから15ドルに削減する。
より安価なシミュレーションを活用することで,計算コストを大幅に削減しつつ,高忠実度モデルの性能と高精度な推論を可能にする。
論文 参考訳(メタデータ) (2025-05-27T14:04:30Z) - Multifidelity Simulation-based Inference for Computationally Expensive Simulators [7.065679767112407]
MF-(TS)NPEは、トランスファーラーニングを用いて安価な低忠実度シミュレーションを利用する、神経後部推定のための多忠実なアプローチである。
A-MF-TSNPEは,密度推定器の予測不確かさを目標とした取得関数を用いた逐次変種である。
論文 参考訳(メタデータ) (2025-02-12T13:59:22Z) - Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。
ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。
ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
論文 参考訳(メタデータ) (2024-10-15T17:47:44Z) - Scaling Law of Sim2Real Transfer Learning in Expanding Computational Materials Databases for Real-World Predictions [13.20562263181952]
計算データベース上で事前訓練された予測器を実システムに微調整すると、優れた一般化能力を持つモデルが得られる。
本研究では,物質科学における複数の機械学習タスクに対するシミュレーション・トゥ・リアル(Sim2Real)変換学習のスケーリング則を実証する。
論文 参考訳(メタデータ) (2024-08-07T18:47:58Z) - Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。
自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。
結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
論文 参考訳(メタデータ) (2024-06-25T02:59:02Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳(メタデータ) (2024-04-11T09:23:36Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳(メタデータ) (2022-10-30T15:13:18Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳(メタデータ) (2022-06-10T04:54:13Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。