論文の概要: F-Adapter: Frequency-Adaptive Parameter-Efficient Fine-Tuning in Scientific Machine Learning

• arxiv url: http://arxiv.org/abs/2509.23173v1
• Date: Sat, 27 Sep 2025 08:05:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.08512
• Title: F-Adapter: Frequency-Adaptive Parameter-Efficient Fine-Tuning in Scientific Machine Learning
• Title（参考訳）: F-Adapter:科学機械学習における周波数適応パラメータ効率の良いファインチューニング
• Authors: Hangwei Zhang, Chun Kang, Yan Wang, Difan Zou,
• Abstract要約: プレトレーニング大型演算子モデル(LOM)のためのPEFTの最初の系統的研究を行う。 また,LoRA(Lo-Rank Adaptation)により,LOMの性能はアダプタチューニングよりも著しく低下することがわかった。 アダプタのロバストな経験的ゲインとスペクトルスパースとしてのPDE解の理論的特徴により、周波数適応アダプタ(F-Adapter)を導入する。
• 参考スコア（独自算出の注目度）: 28.598598268071587
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) of powerful pre-trained models for complex downstream tasks has proven effective in vision and language processing, yet this paradigm remains unexplored in scientific machine learning, where the objective is to model complex physical systems. We conduct the first systematic study of PEFT for pre-trained Large Operator Models (LOMs) obtained by scaling variants of Fourier Neural Operator. First, we observe that the widely used Low-Rank Adaptation (LoRA) yields markedly poorer performance on LOMs than Adapter tuning. Then, we further theoretically establish that stacked LoRA incurs a depth-amplified lower bound on approximation error within Fourier layers, whereas adapters retain universal approximation capacity and, by concentrating parameters on energy-dominant low-frequency modes, attain exponentially decaying error with bottleneck width in the Fourier domain. Motivated by the robust empirical gains of adapters and by our theoretical characterization of PDE solutions as spectrally sparse, we introduce Frequency-Adaptive Adapter (F-Adapter). F-Adapter allocates adapter capacity based on spectral complexity, assigning higher-dimension modules to low-frequency components and lower-dimension modules to high-frequency components. Our F-Adapters establish state-of-the-art (SOTA) results on multiple challenging 3D Navier-Stokes benchmarks, markedly enhancing both generalization and spectral fidelity over LoRA and other PEFT techniques commonly used in LLMs. To the best of our knowledge, this work is the first to explore PEFT for scientific machine-learning and establishes F-Adapter as an effective paradigm for this domain.
• Abstract（参考訳）: 複雑な下流タスクのための強力な訓練済みモデルのパラメータ効率の良い微調整(PEFT)は、視覚と言語処理に有効であることが証明されているが、このパラダイムは複雑な物理システムをモデル化することを目的としている科学機械学習では未検討のままである。 本稿では,Fourier Neural Operator のスケーリングにより得られた事前学習型大規模演算子モデル (LOM) に対して,PEFT を初めて体系的に研究する。 まず、広く使われているLoRA(Lo-Rank Adaptation)は、アダプタチューニングよりもLOMの性能が著しく低いことを観察する。 さらに、重畳されたLoRAはフーリエ層内の近似誤差に深さ増幅された下界を持ち、アダプタは普遍的な近似能力を保ち、エネルギー優位な低周波モードのパラメータを集中することにより、フーリエ領域のボトルネック幅で指数関数的に減衰誤差が得られることを理論的に確立する。 アダプタのロバストな経験的ゲインと、スペクトルスパースとしてPDEソリューションを理論的に特徴づけることにより、周波数適応アダプタ(F-Adapter)を導入する。 F-Adapterは、スペクトル複雑性に基づいてアダプタ容量を割り当て、高次元のモジュールを低周波のコンポーネントに、低次元のモジュールを高周波のコンポーネントに割り当てる。 我々のF-Adaptersは、複数の挑戦的な3D Navier-Stokesベンチマークに対して、最先端のSOTA(State-of-the-art)結果を確立し、LORAや他のLPMでよく使用されるPEFT技術に対する一般化とスペクトル忠実性の両方を著しく向上させた。 我々の知る限り、この研究は科学的な機械学習のためのPEFTを初めて探求し、F-Adapterをこの領域の効果的なパラダイムとして確立した。

関連論文リスト

• High-Fidelity Prediction of Perturbed Optical Fields using Fourier Feature Networks [0.0]
  本稿では,多モードファイバの摂動依存性伝達行列を学習する,データ効率のよい機械学習フレームワークを提案する。 圧縮繊維による実験データから, 実測値と0.995の複素相関を持つ出力場を予測した。 このアプローチは、スパース測定から複雑な光学系をモデル化するための一般的なツールを提供する。
  論文  参考訳（メタデータ） (2025-08-27T10:25:57Z)
• Generalized few-shot transfer learning architecture for modeling the EDFA gain spectrum [10.312656900656016]
  エルビウムドープファイバ増幅器(EDFA)の利得スペクトルの正確なモデリングは光ネットワーク性能に不可欠である。 本研究では,半教師付き自己Normalizing Neural Network(SS-NN)に基づく,数発のトランスファー学習アーキテクチャを提案する。 我々のSS-NNモデルでは、ノイズ増強測定による教師なし事前訓練と、カスタム重み付き損失による教師付き微調整を含む2段階のトレーニング戦略を採用している。
  論文  参考訳（メタデータ） (2025-07-29T12:05:31Z)
• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• Spectral Adapter: Fine-Tuning in Spectral Space [45.72323731094864]
  本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。 提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T19:36:55Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。