論文の概要: Compute-optimal data scaling for neural surrogates via multi-fidelity training

• arxiv url: http://arxiv.org/abs/2610.17221v1
• Date: Mon, 12 Oct 2026 18:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.436221
• Title: Compute-optimal data scaling for neural surrogates via multi-fidelity training
• Title（参考訳）: マルチフィデリティトレーニングによるニューラルサロゲートのコンピュータ最適データスケーリング
• Abstract要約: 我々は、固定データ生成計算予算の下で、データ量と忠実性の関数として、ニューラルサロゲートトレーニングを定式化する。 最適忠実度混合のトレーニングは、高忠実度のみのトレーニングの精度と一致することを示す。 これらの結果は、構造化グリッドと非構造化メッシュにまたがる6つのPDE問題にまたがって検証される。
• 参考スコア（独自算出の注目度）: 40.803581330808214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural surrogates for Partial Differential Equations (PDEs) are usually trained on synthetic data from numerical simulators. As models grow and scaling laws demand larger datasets, the cost of data generation often outweighs the training cost and becomes the bottleneck in the scaling quest. Unlike data in other domains, however, each PDE sample has a tunable cost that depends on its numerical fidelity, with the resulting cost-accuracy trade-off governed by known convergence rates. We exploit this property by formalizing neural surrogate training as a function of both data quantity and fidelity under a fixed data generation compute budget, treating fidelity as a fine-grained discrete spectrum rather than a binary distinction. Building on this, we show that multi-fidelity training enables Pareto-optimal error scaling against data generation compute. By using simulations at lower fidelities as an additional training signal, training on the optimal fidelity mixture matches the accuracy of high-fidelity-only training, with up to $6.3\times$ less data generation compute across our settings. We validate these findings across six PDE problems spanning structured grids and unstructured meshes, two distinct error sources (discretization and iterative-solver error), and four surrogate architectures, totaling over 7,000 training runs.
• Abstract（参考訳）: 部分微分方程式 (Partial Differential Equations, PDE) のためのニューラルネットワークは、通常、数値シミュレータの合成データに基づいて訓練される。 モデルの成長とスケーリング法則がより大きなデータセットを要求するようになると、データ生成のコストはトレーニングコストよりも高くなり、スケーリングのクエストのボトルネックになることが多い。 しかし、他の領域のデータとは異なり、それぞれのPDEサンプルは、その数値忠実度に依存する調整可能なコストを持ち、その結果、既知の収束率によって管理されるコスト精度のトレードオフをもたらす。 データ量と忠実度の両方の関数としてニューラルサロゲートトレーニングを固定データ生成計算予算の下で形式化し、忠実度を二分法ではなく細粒度離散スペクトルとして扱うことにより、この特性を利用する。 これに基づいて,データ生成計算に対するパレート最適誤差スケーリングを多要素学習により実現可能であることを示す。 低忠実度でのシミュレーションを追加の訓練信号として使用することにより、最適忠実度混合物のトレーニングは、高忠実度のみのトレーニングの正確さと一致し、設定全体で最大6.3\times$より少ないデータ生成計算となる。 これらの結果は、構造化グリッドと非構造化メッシュにまたがる6つのPDE問題と、2つの異なるエラー源(離散化と反復解法エラー)と4つのサロゲートアーキテクチャにまたがって検証し、7000以上のトレーニングを実行した。

関連論文リスト

• Assessing the performance of correlation-based multi-fidelity neural emulators [0.0]
  マルチファイダリティニューラルエミュレータは、限られた高フィダリティデータと豊富な低フィダリティモデルソリューションを統合することで、入出力マッピングを学習するように設計されている。 本研究では,高忠実度データと豊富な低忠実度モデル解を統合することで,入力から出力へのマッピングを学習するためのニューラルネットワークである多忠実度ニューラルネットワークエミュレータの性能について検討する。
  論文  参考訳（メタデータ） (2025-12-02T15:31:21Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Multitask methods for predicting molecular properties from heterogeneous data [0.27309692684728615]
  マルチタスクガウス過程の回帰は、高価なデータソースと安価なデータソースの両方を活用することで制限を克服することを示した。 マルチタスクサロゲートは,データ生成コストを1桁以上削減し,CCレベルの精度で予測可能であることを報告した。 マルチタスクレグレッションは、既存のデータソースを機会的に活用することによって、データ生成コストをさらに削減するためのツールである。
  論文  参考訳（メタデータ） (2024-01-31T15:04:03Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• Physics-enhanced deep surrogates for partial differential equations [30.731686639510517]
  本稿では, 複雑な物理系のための高速サロゲートモデル開発に向けて, 物理強化ディープサロゲート(PEDS)アプローチを提案する。 具体的には,低忠実で説明可能な物理シミュレータとニューラルネットワークジェネレータの組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-11-10T18:43:18Z)
• Transfer Learning on Multi-Fidelity Data [0.0]
  ニューラルネットワーク(NNs)は、しばしば複素系のダイナミクスを記述する部分微分方程式(PDEs)のサロゲートまたはエミュレータとして用いられる。 私たちは、トランスファーラーニングを用いた深層畳み込みNN(CNN)のトレーニングのためにデータ生成コストを削減するために、マルチファイダリティシミュレーションに依存しています。 数値実験により,比較的多数の低忠実度データと少ない高忠実度データとを混合することにより,計算速度と予測精度の最適バランスが得られた。
  論文  参考訳（メタデータ） (2021-04-29T00:06:19Z)
• AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
  目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。 提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
  論文  参考訳（メタデータ） (2020-08-16T11:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。