論文の概要: Multi-Level Monte Carlo Training of Neural Operators

• arxiv url: http://arxiv.org/abs/2505.12940v1
• Date: Mon, 19 May 2025 10:26:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.536021
• Title: Multi-Level Monte Carlo Training of Neural Operators
• Title（参考訳）: ニューラル演算子のマルチレベルモンテカルロ訓練
• Authors: James Rowbottom, Stefania Fresca, Pietro Lio, Carola-Bibiane Schönlieb, Nicolas Boullé,
• Abstract要約: 演算子学習は、ニューラルネットワークを用いて偏微分方程式(PDE)に関連する非線形作用素を近似することを目的としている。 これらは入力関数と出力関数の離散化に依存しており、通常は高解像度で大規模問題の訓練に費用がかかる。 そこで我々は,多レベルモンテカルロ (MLMC) アプローチを用いて,関数二項化の分解能の階層構造を利用してニューラルグラデーション演算子を訓練する。
• 参考スコア（独自算出の注目度）: 16.643463851493618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operator learning is a rapidly growing field that aims to approximate nonlinear operators related to partial differential equations (PDEs) using neural operators. These rely on discretization of input and output functions and are, usually, expensive to train for large-scale problems at high-resolution. Motivated by this, we present a Multi-Level Monte Carlo (MLMC) approach to train neural operators by leveraging a hierarchy of resolutions of function dicretization. Our framework relies on using gradient corrections from fewer samples of fine-resolution data to decrease the computational cost of training while maintaining a high level accuracy. The proposed MLMC training procedure can be applied to any architecture accepting multi-resolution data. Our numerical experiments on a range of state-of-the-art models and test-cases demonstrate improved computational efficiency compared to traditional single-resolution training approaches, and highlight the existence of a Pareto curve between accuracy and computational time, related to the number of samples per resolution.
• Abstract（参考訳）: 演算子学習は、ニューラルネットワークを用いて偏微分方程式(PDE)に関連する非線形作用素を近似することを目的とした、急速に成長する分野である。 これらは入力関数と出力関数の離散化に依存しており、通常は高解像度で大規模問題の訓練に費用がかかる。 そこで我々は,マルチレベルモンテカルロ (MLMC) アプローチを提案する。 本フレームワークは,高レベルの精度を維持しつつ,より少ない精細なデータからの勾配補正を用いて,トレーニングの計算コストを低減させる。 提案したMLMCトレーニング手順は,マルチレゾリューションデータを受け入れる任意のアーキテクチャに適用可能である。 本研究では,従来の単分解能学習法に比べて計算効率が向上し,精度と計算時間の間にパレート曲線が存在することを示す。

関連論文リスト

• Training Neural ODEs Using Fully Discretized Simultaneous Optimization [2.290491821371513]
  ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。 特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。 この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
  論文  参考訳（メタデータ） (2025-02-21T18:10:26Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Dilated convolution neural operator for multiscale partial differential equations [11.093527996062058]
  本稿では,多スケール偏微分方程式に対するDilated Convolutional Neural Operator (DCNO)を提案する。 DCNOアーキテクチャは、低計算コストを維持しながら、高周波と低周波の両方の特徴を効果的にキャプチャする。 我々は,DCNOが精度と計算コストの最適なバランスをとることを示し,マルチスケール演算子学習に有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-07-16T08:17:02Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Variational operator learning: A unified paradigm marrying training neural operators and solving partial differential equations [9.148052787201797]
  ニューラル演算子を訓練し、変分形式でPDEを解くための統一的な枠組みを提供する新しいパラダイムを提案する。 ラベルなしのトレーニングセットと5ラベルのみのシフトセットにより、VOLは、未ラベルデータの量に関して、そのテストエラーが電力法則で減少して解演算子を学習する。
  論文  参考訳（メタデータ） (2023-04-09T13:20:19Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。