論文の概要: Federated Domain Adaptation via Gradient Projection
- arxiv url: http://arxiv.org/abs/2302.05049v1
- Date: Fri, 10 Feb 2023 04:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-13 16:39:11.223778
- Title: Federated Domain Adaptation via Gradient Projection
- Title（参考訳）: 勾配投影によるFederated Domain Adaptation
- Authors: Enyi Jiang, Yibo Jacky Zhang, Oluwasanmi Koyejo
- Abstract要約: Federated Domain Adaptation (FDA)は、ソースクライアントのセットが協調して動作するフェデレーション学習環境について説明している。
本稿では,FDAの新しいアグリゲーションルールであるFederated Gradient Projection(ttFedGP$)を提案する。
- 参考スコア（独自算出の注目度）: 13.057038091890359
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Domain Adaptation (FDA) describes the federated learning setting
where a set of source clients work collaboratively to improve the performance
of a target client and where the target client has limited labeled data. The
domain shift between the source and target domains, combined with limited
samples in the target domain, makes FDA a challenging problem, e.g., common
techniques such as FedAvg and fine-tuning fail with a large domain shift. To
fill this gap, we propose Federated Gradient Projection ($\texttt{FedGP}$), a
novel aggregation rule for FDA, used to aggregate the source gradients and
target gradient during training. Further, we introduce metrics that
characterize the FDA setting and propose a theoretical framework for analyzing
the performance of aggregation rules, which may be of independent interest.
Using this framework, we theoretically characterize how, when, and why
$\texttt{FedGP}$ works compared to baselines. Our theory suggests certain
practical rules that are predictive of practice. Experiments on synthetic and
real-world datasets verify the theoretical insights and illustrate the
effectiveness of the proposed method in practice.
- Abstract（参考訳）: フェデレーションドメイン適応(fda)は、ソースクライアントのセットが協調して動作し、ターゲットクライアントのパフォーマンスが向上し、ターゲットクライアントがラベル付きデータを制限したフェデレーション学習設定を記述する。
ソースとターゲットドメイン間のドメインシフトとターゲットドメイン内の限られたサンプルを組み合わせることで、FDAはFedAvgのような一般的な技術や、大きなドメインシフトを伴う微調整の失敗など、難しい問題となる。
このギャップを埋めるために、トレーニング中にソース勾配とターゲット勾配を集約するために使われるFDAの新しいアグリゲーションルールであるFederated Gradient Projection(\texttt{FedGP}$)を提案する。
さらに,fda設定を特徴付ける指標を導入し,独立した関心を持つかもしれない集約ルールの性能分析のための理論的枠組みを提案する。
このフレームワークを使用すると、なぜ$\texttt{FedGP}$がベースラインと比較して動作するのか、いつ、なぜなのかを理論的に特徴づける。
我々の理論は、実践の予測可能な一定の実践ルールを示唆している。
合成および実世界のデータセットの実験は理論的洞察を検証し、提案手法の有効性を実証する。
関連論文リスト
- Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning [15.640664498531274]
フェデレーション・ドメイン適応(Federated Domain Adaptation, FDA)は、フェデレーション・ラーニング(FL)シナリオである。
我々はtextbfMulti- domain textbfPrototype-based textbfFederated Fine-textbfTuning (MPFT) と呼ばれる新しいフレームワークを提案する。
MPFTファインチューン(英: MPFT fine-tunes)は、マルチドメインのプロトタイプ、すなわち、カテゴリ固有のローカルデータから、ドメイン固有の情報に富んだ事前訓練された表現を用いた事前訓練されたモデルである。
論文 参考訳（メタデータ） (2024-10-10T09:15:56Z) - Hypernetwork-Driven Model Fusion for Federated Domain Generalization [26.492360039272942]
フェデレートラーニング(FL)は、異種データのドメインシフトにおいて大きな課題に直面します。
非線形アグリゲーションにハイパーネットワークを用いた、ハイパーネットワークベースのフェデレート・フュージョン(hFedF)と呼ばれるロバストなフレームワークを提案する。
本手法では,ドメインの一般化を効果的に管理するために,クライアント固有の埋め込みと勾配アライメント手法を用いる。
論文 参考訳（メタデータ） (2024-02-10T15:42:03Z) - Model-Contrastive Federated Domain Adaptation [3.9435648520559177]
フェデレートされたドメイン適応(FDA)は、ソースクライアント(ドメイン)から関連するが異なるターゲットクライアントに知識を協調的に転送することを目的としています。
我々は、bfコントラスト学習と視覚変換器(ViT)に基づくbfフェデレーションbfドメインbf適応に対処することを目的とした、FDACというモデルベース手法を提案する。
我々の知る限りでは、FDACはViTの潜在アーキテクチャをフェデレートされた環境下で操作することで、転送可能な表現を学習する最初の試みである。
論文 参考訳（メタデータ） (2023-05-07T23:48:03Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced
Attention for Unsupervised Domain Adaptation [15.905869933337101]
教師なしドメイン適応(Unsupervised Domain Adaption、UDA)は、ソースドメインのデータとアノテーションが利用できるが、トレーニング中にラベル付けされていないターゲットデータにのみアクセスできるトランスファー学習タスクである。
本稿では、ドメイン間サンプルマッチング方式を用いて、教師なしドメイン適応タスクを改善することを提案する。
ドメイン間サンプルに合わせるために,広く利用され,堅牢なTriplet損失を適用した。
トレーニング中に発生する不正確な擬似ラベルの破滅的効果を低減するため,信頼度の高い擬似ラベルを自動的に選択し,段階的に改良する新しい不確実性測定法を提案する。
論文 参考訳（メタデータ） (2022-11-16T13:04:24Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - Instance Relation Graph Guided Source-Free Domain Adaptive Object
Detection [79.89082006155135]
教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、ドメインシフトの問題に取り組むための効果的なアプローチである。
UDAメソッドは、ターゲットドメインの一般化を改善するために、ソースとターゲット表現を整列させようとする。
Source-Free Adaptation Domain (SFDA)設定は、ソースデータへのアクセスを必要とせずに、ターゲットドメインに対してソーストレーニングされたモデルを適用することで、これらの懸念を軽減することを目的としている。
論文 参考訳（メタデータ） (2022-03-29T17:50:43Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Learning Domain-invariant Graph for Adaptive Semi-supervised Domain
Adaptation with Few Labeled Source Samples [65.55521019202557]
ドメイン適応は、ソースドメインからモデルを一般化して、関連するが異なるターゲットドメインのタスクに取り組むことを目的としています。
従来のドメイン適応アルゴリズムは、事前知識として扱われる十分なラベル付きデータがソースドメインで利用できると仮定する。
少数のラベル付きソースサンプルを用いたドメイン適応のためのドメイン不変グラフ学習(DGL)手法を提案する。
論文 参考訳（メタデータ） (2020-08-21T08:13:25Z) - Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。
グラフ埋め込みに基づく汎用フレームワークを提案する。
提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文 参考訳（メタデータ） (2020-03-09T12:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。