論文の概要: SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators

• arxiv url: http://arxiv.org/abs/2603.20410v1
• Date: Fri, 20 Mar 2026 18:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.89624
• Title: SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators
• Title（参考訳）: SLE-FNO:フーリエニューラル演算子におけるタスク非依存連続学習のための単層拡張
• Authors: Mahmoud Elhadidy, Roshan M. D'Souza, Amirhossein Arzani,
• Abstract要約: 新たな実験条件やシミュレーション体制は、以前のデータに再アクセスすることなく、外挿やモデル更新を必要とするため、大きく異なる場合がある。 これにより、破滅的な忘れを防ぎながら、分散シフトに適応できる継続的学習(CL)フレームワークの必要性が生まれます。 本稿では,SLE(Single-Layer Extension)とFNO(Fourier Neural Operator)を組み合わせたアーキテクチャベースアプローチ(SLE-FNO)を提案する。
• 参考スコア（独自算出の注目度）: 0.4369550829556577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific machine learning is increasingly used to build surrogate models, yet most models are trained under a restrictive assumption in which future data follow the same distribution as the training set. In practice, new experimental conditions or simulation regimes may differ significantly, requiring extrapolation and model updates without re-access to prior data. This creates a need for continual learning (CL) frameworks that can adapt to distribution shifts while preventing catastrophic forgetting. Such challenges are pronounced in fluid dynamics, where changes in geometry, boundary conditions, or flow regimes induce non-trivial changes to the solution. Here, we introduce a new architecture-based approach (SLE-FNO) combining a Single-Layer Extension (SLE) with the Fourier Neural Operator (FNO) to support efficient CL. SLE-FNO was compared with a range of established CL methods, including Elastic Weight Consolidation (EWC), Learning without Forgetting (LwF), replay-based approaches, Orthogonal Gradient Descent (OGD), Gradient Episodic Memory (GEM), PiggyBack, and Low-Rank Approximation (LoRA), within an image-to-image regression setting. The models were trained to map transient concentration fields to time-averaged wall shear stress (TAWSS) in pulsatile aneurysmal blood flow. Tasks were derived from 230 computational fluid dynamics simulations grouped into four sequential and out-of-distribution configurations. Results show that replay-based methods and architecture-based approaches (PiggyBack, LoRA, and SLE-FNO) achieve the best retention, with SLE-FNO providing the strongest overall balance between plasticity and stability, achieving accuracy with zero forgetting and minimal additional parameters. Our findings highlight key differences between CL algorithms and introduce SLE-FNO as a promising strategy for adapting baseline models when extrapolation is required.
• Abstract（参考訳）: 科学機械学習はサロゲートモデルの構築にますます利用されているが、ほとんどのモデルは、将来のデータがトレーニングセットと同じ分布に従うという制限的な仮定の下で訓練されている。 実際には、新しい実験条件やシミュレーション体制は、以前のデータに再アクセスすることなく、外挿とモデル更新を必要とするため、大きく異なる可能性がある。 これにより、破滅的な忘れを防ぎながら、分散シフトに適応できる継続的学習(CL)フレームワークの必要性が生まれます。 このような課題は流体力学において顕著であり、幾何学、境界条件、あるいは流れ状態の変化が解に非自明な変化をもたらす。 本稿では、SLE(Single-Layer Extension)とFNO(Fourier Neural Operator)を組み合わせたアーキテクチャベースの新しいアプローチ(SLE-FNO)を提案する。 SLE-FNOは、画像から画像への回帰設定において、Elastic Weight Consolidation (EWC)、Learning without Forgetting (LwF)、replay-based approach、Orthogonal Gradient Descent (OGD)、Gradient Episodic Memory (GEM)、PiggyBack、Low-Rank Approximation (LoRA)など、確立されたCL手法と比較した。 平均壁せん断応力 (TAWSS) に経時的濃度場をマッピングし, 脈拍動性大動脈瘤血流量について検討した。 タスクは、230の計算流体力学シミュレーションを4つの逐次的およびアウト・オブ・ディストリビューション構成にグループ化したものである。 その結果,リプレイベースの手法とアーキテクチャベースのアプローチ(PiggyBack,LoRA,SLE-FNO)は,可塑性と安定性のバランスが最強であり,最小限の追加パラメータで精度が向上していることがわかった。 本研究は,CLアルゴリズムとSLE-FNOの相違点を明らかにし,外挿が必要な場合にベースラインモデルを適用するための有望な戦略として導入した。

関連論文リスト

• Online Continual Learning for Time Series: a Natural Score-driven Approach [2.8989185098518626]
  オンライン連続学習(OCL)手法は、過去の知識を忘れずに環境の変化に適応する。 オンライン時系列予測(OTSF)は、データが時間とともに進化し、成功は、迅速な適応と長期記憶の両方に依存する現実世界の問題である。 本稿では,時系列法とOCLの理論的および実践的関係を強化することを目的とする。
  論文  参考訳（メタデータ） (2026-01-19T10:31:01Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Intrinsic Training Signals for Federated Learning Aggregation [13.540945877050525]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 この研究は、既存のトレーニング信号だけで効果的なモデルマージが達成できることを実証している。
  論文  参考訳（メタデータ） (2025-07-09T13:03:23Z)
• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
  階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。 本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。