論文の概要: Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models

• arxiv url: http://arxiv.org/abs/2509.22020v1
• Date: Fri, 26 Sep 2025 07:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.284225
• Title: Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models
• Title（参考訳）: 気象基礎モデルのためのタスク適応パラメータ効率の良い微調整
• Authors: Shilei Cao, Hehai Lin, Jiashun Cheng, Yang Liu, Guowen Li, Xuehe Wang, Juepeng Zheng, Haoyuan Liang, Meng Jin, Chengwei Qin, Hong Cheng, Haohuan Fu,
• Abstract要約: We introduced WeatherPEFT, a novel PEFT framework for Weather Foundation Models (WFMs) Task-Tu Dynamic Prompting (TTu) は、内部および外部パターン抽出によってトレーニング済みのバックボーンの入力トークンにエンコーダ内の埋め込み重みを注入する。 フィッシャーガイド適応選択 (Fisher-Guided Adaptive Selection, SFAS) は、訓練済みの知識を保ちながら、その選択を安定化させ、最もタスククリティカルなランダム性を特定する。 既存のPEFT法ではフルチューニングとWeatherPEFT性能が同等であるのに対し,既存のPEFT法では大きな差がみられ,WeatherPEFTの有効性と効率が示された。
• 参考スコア（独自算出の注目度）: 28.79157031663951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent advances in machine learning have equipped Weather Foundation Models (WFMs) with substantial generalization capabilities across diverse downstream tasks, the escalating computational requirements associated with their expanding scale increasingly hinder practical deployment. Current Parameter-Efficient Fine-Tuning (PEFT) methods, designed for vision or language tasks, fail to address the unique challenges of weather downstream tasks, such as variable heterogeneity, resolution diversity, and spatiotemporal coverage variations, leading to suboptimal performance when applied to WFMs. To bridge this gap, we introduce WeatherPEFT, a novel PEFT framework for WFMs incorporating two synergistic innovations. First, during the forward pass, Task-Adaptive Dynamic Prompting (TADP) dynamically injects the embedding weights within the encoder to the input tokens of the pre-trained backbone via internal and external pattern extraction, enabling context-aware feature recalibration for specific downstream tasks. Furthermore, during backpropagation, Stochastic Fisher-Guided Adaptive Selection (SFAS) not only leverages Fisher information to identify and update the most task-critical parameters, thereby preserving invariant pre-trained knowledge, but also introduces randomness to stabilize the selection. We demonstrate the effectiveness and efficiency of WeatherPEFT on three downstream tasks, where existing PEFT methods show significant gaps versus Full-Tuning, and WeatherPEFT achieves performance parity with Full-Tuning using fewer trainable parameters. The code of this work will be released.
• Abstract（参考訳）: 機械学習の最近の進歩は、様々な下流タスクにまたがる相当な一般化能力を備えた気象モデル(WFM)を備えているが、その拡大に伴う計算要求の増大は、現実的な展開を妨げている。 視覚や言語タスク用に設計された現在のパラメータ効率の良いファインチューニング(PEFT)手法は、可変不均一性、解像度の多様性、時空間被覆のばらつきなど、下流タスクのユニークな課題に対処できないため、WFMに適用した場合の準最適性能に繋がる。 このギャップを埋めるために、2つの相乗的革新を取り入れたWFMのための新しいPEFTフレームワークであるWeatherPEFTを紹介する。 第一に、フォワードパスの間、タスク適応動的プロンプティング(TADP)は、内部および外部パターン抽出を通じて、トレーニング済みバックボーンの入力トークンにエンコーダ内の埋め込み重みを動的に注入し、特定の下流タスクのコンテキスト認識機能再分類を可能にする。 さらに、バックプロパゲーションの間、Stochastic Fisher-Guided Adaptive Selection (SFAS) はフィッシャー情報を利用して最もタスククリティカルなパラメータを特定し、更新する。 そこでは,既存のPEFT法ではフルチューニングに比べて大きな差がみられ,WeatherPEFTはトレーニング可能なパラメータが少なくてフルチューニングで性能的に同等であることを示す。 この作業のコードはリリースされます。

関連論文リスト

• FedDPG: An Adaptive Yet Efficient Prompt-tuning Approach in Federated Learning Settings [23.33217268142489]
  本稿ではFedDPG(Federated Dynamic Prompt Generator)を紹介する。 FedDPGは動的プロンプト生成ネットワークを組み込んで、与えられた入力に基づいてコンテキスト認識プロンプトを生成する。 3つのNLPベンチマークデータセットの実験では、FedDPGは、グローバルモデルの性能の観点から、最先端のパラメータ効率の高い微調整方法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-07-22T03:47:12Z)
• Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation [18.670626228472877]
  DIFFTは報酬誘導型生成タスクとしてフィーチャートランスフォーメーションを再定義する。 構造的かつ離散的な特徴を生成し、機能内依存関係を保持しながら、並列な機能間生成を可能にする。 予測精度とロバスト性において、最先端のベースラインを一貫して上回り、トレーニングや推論時間を大幅に低下させる。
  論文  参考訳（メタデータ） (2025-05-21T06:18:42Z)
• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning [17.815956928177638]
  本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。 EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。 CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
  論文  参考訳（メタデータ） (2024-02-06T11:35:02Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。