論文の概要: Adaptive Test-Time Personalization for Federated Learning

• arxiv url: http://arxiv.org/abs/2310.18816v1
• Date: Sat, 28 Oct 2023 20:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:17:01.529084
• Title: Adaptive Test-Time Personalization for Federated Learning
• Title（参考訳）: フェデレーション学習のための適応型テストタイムパーソナライゼーション
• Authors: Wenxuan Bao, Tianxin Wei, Haohan Wang, Jingrui He
• Abstract要約: テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 51.25437606915392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized federated learning algorithms have shown promising results in adapting models to various distribution shifts. However, most of these methods require labeled data on testing clients for personalization, which is usually unavailable in real-world scenarios. In this paper, we introduce a novel setting called test-time personalized federated learning (TTPFL), where clients locally adapt a global model in an unsupervised way without relying on any labeled data during test-time. While traditional test-time adaptation (TTA) can be used in this scenario, most of them inherently assume training data come from a single domain, while they come from multiple clients (source domains) with different distributions. Overlooking these domain interrelationships can result in suboptimal generalization. Moreover, most TTA algorithms are designed for a specific kind of distribution shift and lack the flexibility to handle multiple kinds of distribution shifts in FL. In this paper, we find that this lack of flexibility partially results from their pre-defining which modules to adapt in the model. To tackle this challenge, we propose a novel algorithm called ATP to adaptively learns the adaptation rates for each module in the model from distribution shifts among source domains. Theoretical analysis proves the strong generalization of ATP. Extensive experiments demonstrate its superiority in handling various distribution shifts including label shift, image corruptions, and domain shift, outperforming existing TTA methods across multiple datasets and model architectures. Our code is available at https://github.com/baowenxuan/ATP .
• Abstract（参考訳）: パーソナライズされたフェデレーション学習アルゴリズムは、様々な分散シフトにモデルを適応させる有望な結果を示している。 しかしながら、これらの手法のほとんどは、実世界のシナリオでは利用できないパーソナライズのためにテストクライアントにラベル付きデータを必要とする。 本稿では,テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる,テスト期間中にラベル付きデータに頼ることなく,クライアントが教師なしの方法でグローバルモデルをローカルに適応させる,新しい設定を提案する。 従来のテスト時間適応(tta)はこのシナリオで使用できるが、その多くは、トレーニングデータを単一のドメインから、異なるディストリビューションを持つ複数のクライアント(ソースドメイン)からのものであると本質的に仮定している。 これらの領域の相互関係を見渡すと、準最適一般化をもたらす。 さらに、ほとんどのttaアルゴリズムは、特定の種類の分布シフトのために設計されており、flにおける複数の種類の分布シフトを扱う柔軟性が欠如している。 本稿では,この柔軟性の欠如が,モデルにどのモジュールを適用すべきかを事前に定義した上で部分的に生じることを見出した。 この課題に対処するため、我々はATPと呼ばれる新しいアルゴリズムを提案し、ソースドメイン間の分散シフトからモデル内の各モジュールの適応率を適応的に学習する。 理論的解析はATPの強い一般化を証明している。 大規模な実験は、ラベルシフト、イメージの破損、ドメインシフトなど、さまざまな分散シフトを扱う上で、その優位性を示し、既存のTTAメソッドを複数のデータセットやモデルアーキテクチャで上回る。 私たちのコードはhttps://github.com/baowenxuan/ATP で利用可能です。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• COMET: Contrastive Mean Teacher for Online Source-Free Universal Domain Adaptation [3.5139431332194198]
  現実世界のアプリケーションでは、トレーニングからテストデータへのドメインシフトが頻繁に発生します。 本稿では,このシナリオに合わせたコントラスト的平均教師(COMET)を紹介する。 COMETは最先端のパフォーマンスをもたらし、さまざまなシナリオで一貫性と堅牢性を示す。
  論文  参考訳（メタデータ） (2024-01-31T10:47:25Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
  フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:10:05Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Test-Time Robust Personalization for Federated Learning [5.553167334488855]
  Federated Learning(FL)は、多くのクライアントが分散トレーニングデータで共有グローバルモデルを共同で学習する機械学習パラダイムである。 パーソナライズされたFLは、グローバルモデルを異なるクライアントに適応させ、一貫したローカルトレーニングとテスト分布に関する有望な結果を達成する。 テスト時間分布シフトに頑健なFLモデルをパーソナライズするフェデレーションテスト時ヘッドアンサンブルとチューニング(FedTHE+)を提案する。
  論文  参考訳（メタデータ） (2022-05-22T20:08:14Z)
• Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
  単体テストサンプルでドメインをまたいで一般化することを学ぶ。 変分ベイズ推論問題として単検体への適応を定式化する。 我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2022-02-16T13:21:04Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。