論文の概要: Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators

• arxiv url: http://arxiv.org/abs/2506.19396v1
• Date: Tue, 24 Jun 2025 07:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.543837
• Title: Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
• Title（参考訳）: フーリエニューラル演算子の最大更新パラメトリゼーションとゼロショットハイパーパラメータ転送
• Authors: Shanda Li, Shinjae Yoo, Yiming Yang,
• Abstract要約: フーリエニューラル演算子(FNO)は複素偏微分方程式(PDE)を解くための原理的アプローチを提供する 我々は、より小さなFNOで調整された最適な設定を可能にするゼロショットハイパーパラメータ転送技術である$mu$Transfer-FNOを導入する。 実験により,Transfer-FNOは,大規模FNO上でのハイパーパラメータのチューニングに要する計算コストを低減し,精度を維持・改善することを示した。
• 参考スコア（独自算出の注目度）: 29.557733744242096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Neural Operators (FNOs) offer a principled approach for solving complex partial differential equations (PDEs). However, scaling them to handle more complex PDEs requires increasing the number of Fourier modes, which significantly expands the number of model parameters and makes hyperparameter tuning computationally impractical. To address this, we introduce $\mu$Transfer-FNO, a zero-shot hyperparameter transfer technique that enables optimal configurations, tuned on smaller FNOs, to be directly applied to billion-parameter FNOs without additional tuning. Building on the Maximal Update Parametrization ($\mu$P) framework, we mathematically derive a parametrization scheme that facilitates the transfer of optimal hyperparameters across models with different numbers of Fourier modes in FNOs, which is validated through extensive experiments on various PDEs. Our empirical study shows that Transfer-FNO reduces computational cost for tuning hyperparameters on large FNOs while maintaining or improving accuracy.
• Abstract（参考訳）: FNO(Fourier Neural Operators)は、複素偏微分方程式(PDE)の解法である。 しかし、より複雑なPDEを扱うためにそれらをスケーリングするには、フーリエモードの数を増やす必要がある。 これを解決するために、より小さなFNOをチューニングしたゼロショットハイパーパラメータ転送技術である$\mu$Transfer-FNOを導入し、追加チューニングなしで10億パラメータFNOに直接適用する。 The Maximal Update Parametrization ($\mu$P) framework, we derived a parametrization scheme that facilitate the transfer of optimal hyperparameters across models with different number of Fourier modes in FNOs, which is confirmed by extensive experiment on various PDEs。 実験により、Transfer-FNOは、高精度を維持し、改善しながら、大きなFNO上でハイパーパラメータをチューニングするための計算コストを削減できることを示した。

関連論文リスト

• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations [34.500484733973536]
  通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。 本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。 本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:36:36Z)
• Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [102.92240148504774]
  下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。 優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。 我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
  論文  参考訳（メタデータ） (2023-11-10T18:59:54Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Fourier Neural Operator with Learned Deformations for PDEs on General Geometries [75.91055304134258]
  我々は任意の測地上でPDEを解決するための新しいフレームワーク、viz.、geo-FNOを提案する。 Geo-FNO は入力(物理)領域を不規則で、一様格子を持つ潜在空間に変形させることを学ぶ。 我々は, 弾性, 塑性, オイラー方程式, ナビエ・ストークス方程式などの多種多様なPDEと, 前方モデリングと逆設計の問題を考察する。
  論文  参考訳（メタデータ） (2022-07-11T21:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。