論文の概要: Personalized Federated Learning for Spatio-Temporal Forecasting: A Dual Semantic Alignment-Based Contrastive Approach
- arxiv url: http://arxiv.org/abs/2404.03702v1
- Date: Thu, 4 Apr 2024 02:43:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 17:55:13.437405
- Title: Personalized Federated Learning for Spatio-Temporal Forecasting: A Dual Semantic Alignment-Based Contrastive Approach
- Title(参考訳): 時空間予測のためのパーソナライズされたフェデレーション学習:二重意味的アライメントに基づくコントラスト的アプローチ
- Authors: Qingxiang Liu, Sheng Sun, Yuxuan Liang, Jingjing Xue, Min Liu,
- Abstract要約: フェデレートdUalパラダイム, セティックaLignmentに基づくFUELStive Learningの提案。
FUELSは最先端の手法よりも優れており、通信コストは約94%低下している。
- 参考スコア(独自算出の注目度): 14.145373808547122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing federated learning (FL) methods for spatio-temporal forecasting fail to capture the inherent spatio-temporal heterogeneity, which calls for personalized FL (PFL) methods to model the spatio-temporally variant patterns. While contrastive learning approach is promising in addressing spatio-temporal heterogeneity, the existing methods are noneffective in determining negative pairs and can hardly apply to PFL paradigm. To tackle this limitation, we propose a novel PFL method, named Federated dUal sEmantic aLignment-based contraStive learning (FUELS), which can adaptively align positive and negative pairs based on semantic similarity, thereby injecting precise spatio-temporal heterogeneity into the latent representation space by auxiliary contrastive tasks. From temporal perspective, a hard negative filtering module is introduced to dynamically align heterogeneous temporal representations for the supplemented intra-client contrastive task. From spatial perspective, we design lightweight-but-efficient prototypes as client-level semantic representations, based on which the server evaluates spatial similarity and yields client-customized global prototypes for the supplemented inter-client contrastive task. Extensive experiments demonstrate that FUELS outperforms state-of-the-art methods, with communication cost decreasing by around 94%.
- Abstract(参考訳): 時空間予測のための既存のフェデレートラーニング(FL)法は、時空間変動パターンをモデル化するパーソナライズされたFL(PFL)法を要求される時空間不均一性を捉えることができない。
対時的不均一性に対処するためには、対照的な学習アプローチが有望であるが、既存の手法は負のペアを決定するのに効果がなく、PFLパラダイムにはほとんど適用できない。
この制限に対処するため,Federated dUal sEmantic aLignment-based contraStive Learning (FUELS) という新しいPFL手法を提案する。
時間的視点から、補足されたクライアント内コントラスト的タスクに対して、異種時間的表現を動的に整列させるために、ハード負のフィルタリングモジュールが導入された。
空間的視点から、我々はクライアントレベルの意味表現として軽量だが効率のよいプロトタイプを設計する。
大規模な実験では、FUELSは最先端の手法よりも優れており、通信コストは約94%低下している。
関連論文リスト
- Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。
既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。
本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
論文 参考訳(メタデータ) (2024-11-14T07:34:31Z) - Learning Discriminative Spatio-temporal Representations for Semi-supervised Action Recognition [23.44320273156057]
本稿では,適応コントラスト学習(ACL)戦略とマルチスケールテンポラル学習(MTL)戦略を提案する。
ACL戦略は、ラベル付きデータのクラスプロトタイプにより、全ての未ラベルサンプルの信頼性を評価し、擬ラベル付きサンプルバンクから正負のサンプルを適応的に選択し、コントラスト学習を構築する。
MTL戦略は、長期クリップからの情報的意味を強調し、ノイズ情報を抑制しながら、それらを短期クリップに統合する。
論文 参考訳(メタデータ) (2024-04-25T08:49:08Z) - Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳(メタデータ) (2024-02-03T08:19:26Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning
under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2023-10-09T16:17:42Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - STS-CCL: Spatial-Temporal Synchronous Contextual Contrastive Learning
for Urban Traffic Forecasting [4.947443433688782]
本研究は、高度なコントラスト学習を採用し、新しい時空間コントラスト学習(STS-CCL)モデルを提案する。
STS-CCLコントラスト学習モデルに基づく予測器の構築は,既存のトラフィック予測ベンチマークよりも優れた性能を発揮することを示す実験と評価を行った。
論文 参考訳(メタデータ) (2023-07-05T03:47:28Z) - Spatio-temporal Diffusion Point Processes [23.74522530140201]
パティオ・テンポラル・ポイント・プロセス(英: patio-temporal point process、STPP)は、時間と空間を伴うイベントの集合である。
結合分布のモデル化に失敗すると、与えられた事象の過去の時間的相互作用を特徴づける能力は限られる。
複雑な時空間の関節分布を学習する新しいパラメータ化フレームワークを提案する。
我々のフレームワークは最先端のベースラインを著しく上回り、平均50%以上の改善がなされています。
論文 参考訳(メタデータ) (2023-05-21T08:53:00Z) - Beyond Instance Discrimination: Relation-aware Contrastive
Self-supervised Learning [75.46664770669949]
本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。
当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
論文 参考訳(メタデータ) (2022-11-02T03:25:28Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。