論文の概要: Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators

• arxiv url: http://arxiv.org/abs/2506.19396v1
• Date: Tue, 24 Jun 2025 07:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.543837
• Title: Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
• Title（参考訳）: フーリエニューラル演算子の最大更新パラメトリゼーションとゼロショットハイパーパラメータ転送
• Authors: Shanda Li, Shinjae Yoo, Yiming Yang,
• Abstract要約: フーリエニューラル演算子(FNO)は複素偏微分方程式(PDE)を解くための原理的アプローチを提供する 我々は、より小さなFNOで調整された最適な設定を可能にするゼロショットハイパーパラメータ転送技術である$mu$Transfer-FNOを導入する。 実験により,Transfer-FNOは,大規模FNO上でのハイパーパラメータのチューニングに要する計算コストを低減し,精度を維持・改善することを示した。
• 参考スコア（独自算出の注目度）: 29.557733744242096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Neural Operators (FNOs) offer a principled approach for solving complex partial differential equations (PDEs). However, scaling them to handle more complex PDEs requires increasing the number of Fourier modes, which significantly expands the number of model parameters and makes hyperparameter tuning computationally impractical. To address this, we introduce $\mu$Transfer-FNO, a zero-shot hyperparameter transfer technique that enables optimal configurations, tuned on smaller FNOs, to be directly applied to billion-parameter FNOs without additional tuning. Building on the Maximal Update Parametrization ($\mu$P) framework, we mathematically derive a parametrization scheme that facilitates the transfer of optimal hyperparameters across models with different numbers of Fourier modes in FNOs, which is validated through extensive experiments on various PDEs. Our empirical study shows that Transfer-FNO reduces computational cost for tuning hyperparameters on large FNOs while maintaining or improving accuracy.
• Abstract（参考訳）: FNO(Fourier Neural Operators)は、複素偏微分方程式(PDE)の解法である。 しかし、より複雑なPDEを扱うためにそれらをスケーリングするには、フーリエモードの数を増やす必要がある。 これを解決するために、より小さなFNOをチューニングしたゼロショットハイパーパラメータ転送技術である$\mu$Transfer-FNOを導入し、追加チューニングなしで10億パラメータFNOに直接適用する。 The Maximal Update Parametrization ($\mu$P) framework, we derived a parametrization scheme that facilitate the transfer of optimal hyperparameters across models with different number of Fourier modes in FNOs, which is confirmed by extensive experiment on various PDEs。 実験により、Transfer-FNOは、高精度を維持し、改善しながら、大きなFNO上でハイパーパラメータをチューニングするための計算コストを削減できることを示した。

関連論文リスト

• Understanding Lookahead Dynamics Through Laplace Transform [4.204990010424083]
  ゲーム内のハイパーパラメータの収束解析のための周波数領域フレームワークを提案する。 双線型ゲームの離散時間ダイナミクスを周波数領域に変換し、正確な収束基準を導出する。 離散時間設定における実証的検証は、我々のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2025-06-16T17:20:40Z)
• Transferring linearly fixed QAOA angles: performance and real device results [0.0]
  線形パラメータ化とパラメータ転送を組み合わせ,パラメータ空間を4次元に減らした簡易な手法について検討する。 本稿では,この手法と標準QAOAと,逐次層ごとの最適化を必要とするInterfacePやFOURIERなどのパラメータ設定手法を比較した。 我々の実験は古典シミュレーションからIBMのイーグルプロセッサ上での実際の量子ハードウェア実装まで拡張し、現在のNISQデバイス上でのアプローチの可能性を実証した。
  論文  参考訳（メタデータ） (2025-04-17T04:17:51Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations [34.500484733973536]
  通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。 本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。 本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:36:36Z)
• Enhancing Solutions for Complex PDEs: Introducing Complementary Convolution and Equivariant Attention in Fourier Neural Operators [17.91230192726962]
  複雑なPDEを解くために,畳み込み-残留層と注意機構を備えた新しい階層型フーリエニューラル演算子を提案する。 提案手法はこれらのPDEベンチマークにおいて,特に高速な係数変動を特徴とする方程式に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-21T11:04:13Z)
• Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [102.92240148504774]
  下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。 優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。 我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
  論文  参考訳（メタデータ） (2023-11-10T18:59:54Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Fourier Neural Operator with Learned Deformations for PDEs on General Geometries [75.91055304134258]
  我々は任意の測地上でPDEを解決するための新しいフレームワーク、viz.、geo-FNOを提案する。 Geo-FNO は入力(物理)領域を不規則で、一様格子を持つ潜在空間に変形させることを学ぶ。 我々は, 弾性, 塑性, オイラー方程式, ナビエ・ストークス方程式などの多種多様なPDEと, 前方モデリングと逆設計の問題を考察する。
  論文  参考訳（メタデータ） (2022-07-11T21:55:47Z)
• Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling [76.89779231460193]
  factorization machine(fm)は、機能間の高次インタラクションを自動的に学習し、手動の機能エンジニアリングを必要とせずに予測を行うことができる。 本研究では,スパース予測解析のためのQFM(Quaternion factorization Machine)とQNFM(Quaternion neural factorization Machine)を提案する。
  論文  参考訳（メタデータ） (2021-04-05T00:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。