論文の概要: Principled Federated Domain Adaptation: Gradient Projection and Auto-Weighting

• arxiv url: http://arxiv.org/abs/2302.05049v4
• Date: Sun, 24 Mar 2024 22:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 04:08:18.525856
• Title: Principled Federated Domain Adaptation: Gradient Projection and Auto-Weighting
• Title（参考訳）: 原則的フェデレーションドメイン適応 - 勾配投影と自動重み付け
• Authors: Enyi Jiang, Yibo Jacky Zhang, Sanmi Koyejo,
• Abstract要約: Federated Domain Adaptation (FDA)は、限られたデータが利用可能なターゲットクライアントのパフォーマンスを改善するために、ソースクライアントとサーバが協調して動作するフェデレーション学習環境について説明している。 FDA設定を特徴付ける新しい指標と,サーバアグリゲーションルールの性能を解析するための新しい定理を用いた理論的枠組みを導入する。 我々は,ドメインシフトとデータ不足による目標性能を大幅に向上させる,新しい軽量アグリゲーションルールであるFederated Gradient Projection(texttFedGP$)を提案する。
• 参考スコア（独自算出の注目度）: 12.600755361120374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Domain Adaptation (FDA) describes the federated learning (FL) setting where source clients and a server work collaboratively to improve the performance of a target client where limited data is available. The domain shift between the source and target domains, coupled with limited data of the target client, makes FDA a challenging problem, e.g., common techniques such as federated averaging and fine-tuning fail due to domain shift and data scarcity. To theoretically understand the problem, we introduce new metrics that characterize the FDA setting and a theoretical framework with novel theorems for analyzing the performance of server aggregation rules. Further, we propose a novel lightweight aggregation rule, Federated Gradient Projection ($\texttt{FedGP}$), which significantly improves the target performance with domain shift and data scarcity. Moreover, our theory suggests an $\textit{auto-weighting scheme}$ that finds the optimal combinations of the source and target gradients. This scheme improves both $\texttt{FedGP}$ and a simpler heuristic aggregation rule. Extensive experiments verify the theoretical insights and illustrate the effectiveness of the proposed methods in practice.
• Abstract（参考訳）: Federated Domain Adaptation (FDA)は、ソースクライアントとサーバが協調して動作するフェデレート・ラーニング(FL)設定について説明している。 ソースとターゲットドメイン間のドメインシフトとターゲットクライアントの限られたデータの組み合わせは、FDAを困難な問題にしている。 この問題を理論的に理解するために、FDAの設定を特徴付ける新しい指標と、サーバ集約ルールの性能を分析するための新しい定理を持つ理論的枠組みを導入する。 さらに、ドメインシフトとデータ不足による目標性能を大幅に向上させる、新しい軽量アグリゲーションルールであるFederated Gradient Projection(\texttt{FedGP}$)を提案する。 さらに、この理論はソースとターゲット勾配の最適組み合わせを求める$\textit{auto-weighting scheme}$を提案する。 このスキームは$\texttt{FedGP}$とより単純なヒューリスティックアグリゲーションルールの両方を改善している。 大規模な実験は理論的な洞察を検証し、提案手法の有効性を実証するものである。

関連論文リスト

• Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning [15.640664498531274]
  フェデレーション・ドメイン適応(Federated Domain Adaptation, FDA)は、フェデレーション・ラーニング(FL)シナリオである。 我々はtextbfMulti- domain textbfPrototype-based textbfFederated Fine-textbfTuning (MPFT) と呼ばれる新しいフレームワークを提案する。 MPFTファインチューン(英: MPFT fine-tunes)は、マルチドメインのプロトタイプ、すなわち、カテゴリ固有のローカルデータから、ドメイン固有の情報に富んだ事前訓練された表現を用いた事前訓練されたモデルである。
  論文  参考訳（メタデータ） (2024-10-10T09:15:56Z)
• Hypernetwork-Driven Model Fusion for Federated Domain Generalization [26.492360039272942]
  フェデレートラーニング(FL)は、異種データのドメインシフトにおいて大きな課題に直面します。 非線形アグリゲーションにハイパーネットワークを用いた、ハイパーネットワークベースのフェデレート・フュージョン(hFedF)と呼ばれるロバストなフレームワークを提案する。 本手法では,ドメインの一般化を効果的に管理するために,クライアント固有の埋め込みと勾配アライメント手法を用いる。
  論文  参考訳（メタデータ） (2024-02-10T15:42:03Z)
• Model-Contrastive Federated Domain Adaptation [3.9435648520559177]
  フェデレートされたドメイン適応(FDA)は、ソースクライアント(ドメイン)から関連するが異なるターゲットクライアントに知識を協調的に転送することを目的としています。 我々は、bfコントラスト学習と視覚変換器(ViT)に基づくbfフェデレーションbfドメインbf適応に対処することを目的とした、FDACというモデルベース手法を提案する。 我々の知る限りでは、FDACはViTの潜在アーキテクチャをフェデレートされた環境下で操作することで、転送可能な表現を学習する最初の試みである。
  論文  参考訳（メタデータ） (2023-05-07T23:48:03Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced Attention for Unsupervised Domain Adaptation [15.905869933337101]
  教師なしドメイン適応(Unsupervised Domain Adaption、UDA)は、ソースドメインのデータとアノテーションが利用できるが、トレーニング中にラベル付けされていないターゲットデータにのみアクセスできるトランスファー学習タスクである。 本稿では、ドメイン間サンプルマッチング方式を用いて、教師なしドメイン適応タスクを改善することを提案する。 ドメイン間サンプルに合わせるために,広く利用され,堅牢なTriplet損失を適用した。 トレーニング中に発生する不正確な擬似ラベルの破滅的効果を低減するため,信頼度の高い擬似ラベルを自動的に選択し,段階的に改良する新しい不確実性測定法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T13:04:24Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Instance Relation Graph Guided Source-Free Domain Adaptive Object Detection [79.89082006155135]
  教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、ドメインシフトの問題に取り組むための効果的なアプローチである。 UDAメソッドは、ターゲットドメインの一般化を改善するために、ソースとターゲット表現を整列させようとする。 Source-Free Adaptation Domain (SFDA)設定は、ソースデータへのアクセスを必要とせずに、ターゲットドメインに対してソーストレーニングされたモデルを適用することで、これらの懸念を軽減することを目的としている。
  論文  参考訳（メタデータ） (2022-03-29T17:50:43Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Learning Domain-invariant Graph for Adaptive Semi-supervised Domain Adaptation with Few Labeled Source Samples [65.55521019202557]
  ドメイン適応は、ソースドメインからモデルを一般化して、関連するが異なるターゲットドメインのタスクに取り組むことを目的としています。 従来のドメイン適応アルゴリズムは、事前知識として扱われる十分なラベル付きデータがソースドメインで利用できると仮定する。 少数のラベル付きソースサンプルを用いたドメイン適応のためのドメイン不変グラフ学習(DGL)手法を提案する。
  論文  参考訳（メタデータ） (2020-08-21T08:13:25Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。