論文の概要: Federated Prompt Learning for Weather Foundation Models on Devices

• arxiv url: http://arxiv.org/abs/2305.14244v2
• Date: Mon, 22 Apr 2024 00:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 01:22:08.954602
• Title: Federated Prompt Learning for Weather Foundation Models on Devices
• Title（参考訳）: デバイス上での気象基礎モデルのためのフェデレーション・プロンプト学習
• Authors: Shengchao Chen, Guodong Long, Tao Shen, Jing Jiang, Chengqi Zhang,
• Abstract要約: 天気予報のためのデバイス上のインテリジェンスでは、ローカルなディープラーニングモデルを使用して、集中型クラウドコンピューティングなしで気象パターンを分析する。 本稿では,FedPoD(Federated Prompt Learning for Weather Foundation Models on Devices)を提案する。 FedPoDは、通信効率を維持しながら、高度にカスタマイズされたモデルを得ることができる。
• 参考スコア（独自算出の注目度）: 37.88417074427373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device intelligence for weather forecasting uses local deep learning models to analyze weather patterns without centralized cloud computing, holds significance for supporting human activates. Federated Learning is a promising solution for such forecasting by enabling collaborative model training without sharing raw data. However, it faces three main challenges that hinder its reliability: (1) data heterogeneity among devices due to geographic differences; (2) data homogeneity within individual devices and (3) communication overload from sending large model parameters for collaboration. To address these challenges, this paper propose Federated Prompt Learning for Weather Foundation Models on Devices (FedPoD), which enables devices to obtain highly customized models while maintaining communication efficiency. Concretely, our Adaptive Prompt Tuning leverages lightweight prompts guide frozen foundation model to generate more precise predictions, also conducts prompt-based multi-level communication to encourage multi-source knowledge fusion and regulate optimization. Additionally, Dynamic Graph Modeling constructs graphs from prompts, prioritizing collaborative training among devices with similar data distributions to against heterogeneity. Extensive experiments demonstrates FedPoD leads the performance among state-of-the-art baselines across various setting in real-world on-device weather forecasting datasets.
• Abstract（参考訳）: 天気予報のためのオンデバイスインテリジェンスは、ローカルなディープラーニングモデルを使用して、集中型クラウドコンピューティングを使わずに気象パターンを解析し、人間の活動をサポートする上で重要である。 フェデレートラーニング(Federated Learning)は、生データを共有せずに協調的なモデルトレーニングを可能にすることで、このような予測のための有望なソリューションである。 しかし,その信頼性を損なう主な課題は,(1)地理的な違いによるデバイス間のデータ不均一性,(2)個々のデバイス間のデータ均一性,(3)コラボレーションのための大きなモデルパラメータの送信による通信過負荷,の3つである。 これらの課題に対処するために,デバイス上の気象モデルのためのフェデレート・プロンプト・ラーニング(FedPoD)を提案する。 具体的には、我々のAdaptive Prompt Tuningは、より正確な予測を生成するために、軽量なプロンプトガイドフリーズ基盤モデルを活用するとともに、プロンプトベースのマルチレベル通信を行い、マルチソース知識の融合を促進し、最適化を調整する。 さらに、Dynamic Graph Modelingはプロンプトからグラフを構築し、類似したデータ分布を持つデバイス間の協調トレーニングを不均一性に対して優先順位付けする。 大規模な実験では、FedPoDが実際のデバイス上での天気予報データセットのさまざまな設定における最先端のベースラインのパフォーマンスを導いている。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Personalized Adapter for Large Meteorology Model on Devices: Towards Weather Foundation Models [36.229082478423585]
  LM-Weatherは、事前訓練された言語モデル(PLM)を使用する一般的なアプローチである PLMに軽量なパーソナライズドアダプタを導入し、気象パターンの認識に役立てる。 実験の結果、LM-Weatherは様々なタスクにおいて最先端の結果より優れていた。
  論文  参考訳（メタデータ） (2024-05-24T15:25:09Z)
• Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
  本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。 具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。 我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-22T16:21:02Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Prompt Federated Learning for Weather Forecasting: Toward Foundation Models on Meteorological Data [37.549578998407675]
  地球規模の気候問題に対処するためには、大規模な気象データに基づいて総合的な気象予報を行うための共同プラットフォームを開発する必要がある。 本稿では,複雑な気象データを理解し,天気予報を行う領域にまたがる基礎モデルを構築した。 低リソースセンサの通信と計算の制約を満たすために,新しいプロンプト学習機構が採用された。
  論文  参考訳（メタデータ） (2023-01-22T16:47:05Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。