Fugu-MT 論文翻訳(概要): Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning

論文の概要: Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning

arxiv url: http://arxiv.org/abs/2410.07738v1
Date: Thu, 10 Oct 2024 09:15:56 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 15:15:56.732647
Title: Enhancing Federated Domain Adaptation with Multi-Domain Prototype-Based Federated Fine-Tuning
Title（参考訳）: マルチドメインプロトタイプに基づくフェデレーションファインチューニングによるフェデレーションドメイン適応の強化
Authors: Jingyuan Zhang, Yiyang Duan, Shuaicheng Niu, Yang Cao, Wei Yang Bryan Lim,
Abstract要約: フェデレーション・ドメイン適応(Federated Domain Adaptation, FDA)は、フェデレーション・ラーニング(FL)シナリオである。我々はtextbfMulti- domain textbfPrototype-based textbfFederated Fine-textbfTuning (MPFT) と呼ばれる新しいフレームワークを提案する。 MPFTファインチューン(英: MPFT fine-tunes)は、マルチドメインのプロトタイプ、すなわち、カテゴリ固有のローカルデータから、ドメイン固有の情報に富んだ事前訓練された表現を用いた事前訓練されたモデルである。
参考スコア（独自算出の注目度）: 15.640664498531274
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Domain Adaptation (FDA) is a Federated Learning (FL) scenario where models are trained across multiple clients with unique data domains but a shared category space, without transmitting private data. The primary challenge in FDA is data heterogeneity, which causes significant divergences in gradient updates when using conventional averaging-based aggregation methods, reducing the efficacy of the global model. This further undermines both in-domain and out-of-domain performance (within the same federated system but outside the local client). To address this, we propose a novel framework called \textbf{M}ulti-domain \textbf{P}rototype-based \textbf{F}ederated Fine-\textbf{T}uning (MPFT). MPFT fine-tunes a pre-trained model using multi-domain prototypes, i.e., pretrained representations enriched with domain-specific information from category-specific local data. This enables supervised learning on the server to derive a globally optimized adapter that is subsequently distributed to local clients, without the intrusion of data privacy. Empirical results show that MPFT significantly improves both in-domain and out-of-domain accuracy over conventional methods, enhancing knowledge preservation and adaptation in FDA. Notably, MPFT achieves convergence within a single communication round, greatly reducing computation and communication costs. To ensure privacy, MPFT applies differential privacy to protect the prototypes. Additionally, we develop a prototype-based feature space hijacking attack to evaluate robustness, confirming that raw data samples remain unrecoverable even after extensive training epochs. The complete implementation of MPFL is available at \url{https://anonymous.4open.science/r/DomainFL/}.
Abstract（参考訳）: フェデレート・ドメイン適応(Federated Domain Adaptation, FDA)は、フェデレーション・ラーニング(FL)シナリオである。 FDAの最大の課題は、データ不均一性であり、これは、従来の平均的な集約手法を使用すると、勾配の更新が著しくばらつき、グローバルモデルの有効性が低下する。これにより、ドメイン内とドメイン外の両方のパフォーマンスが損なわれます(同じフェデレーションシステムで、ローカルクライアント外で)。そこで,本稿では,新しいフレームワークとして,textbf{M}ulti- domain \textbf{P}rototype-based \textbf{F}ederated Fine-\textbf{T}uning (MPFT)を提案する。 MPFTファインチューン(英: MPFT fine-tunes)は、マルチドメインのプロトタイプ、すなわち、カテゴリ固有のローカルデータから、ドメイン固有の情報に富んだ事前訓練された表現を用いた事前訓練されたモデルである。これにより、サーバ上の教師あり学習は、データプライバシの侵入なしに、グローバルに最適化されたアダプタをローカルクライアントに配布することが可能になる。実験の結果,MPFTは従来の方法よりもドメイン内精度とドメイン外精度を有意に改善し,FDAの知識保存と適応性を高めた。特に、MPFTは単一の通信ラウンド内で収束し、計算と通信コストを大幅に削減する。プライバシーを確保するために、MPFTはプロトタイプを保護するために差分プライバシーを適用している。さらに,プロトタイプベースの特徴空間ハイジャック攻撃によるロバスト性の評価を行い,広範囲な訓練期間を経ても生データサンプルの回収が不可能であることを確認した。 MPFLの完全な実装は \url{https://anonymous.4open.science/r/DomainFL/} で利用可能である。

関連論文リスト

Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model [3.1265626879839923]
実際には、トレーニングデータとテストデータの間にドメインシフトが発生する可能性があり、トレーニング済みのソースモデルをターゲットドメインに調整するためには、ドメイン適応(DA)が必要である。 UniDAは、ソースとターゲットドメインの間の追加のカテゴリ(ラベル)シフトの可能性に対処するために注目を集めている。ガウス混合モデル(GMM)を用いて特徴空間における既知のクラス分布を連続的にキャプチャする新しい手法を提案する。このアプローチは、DomainNetおよびOffice-Homeデータセットに関するすべての実験において、最先端の結果を達成する。
論文参考訳（メタデータ） (2024-07-19T11:13:31Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
論文参考訳（メタデータ） (2024-03-14T02:36:16Z)
Hypernetwork-Driven Model Fusion for Federated Domain Generalization [26.492360039272942]
フェデレートラーニング(FL)は、異種データのドメインシフトにおいて大きな課題に直面します。非線形アグリゲーションにハイパーネットワークを用いた、ハイパーネットワークベースのフェデレート・フュージョン(hFedF)と呼ばれるロバストなフレームワークを提案する。本手法では,ドメインの一般化を効果的に管理するために,クライアント固有の埋め込みと勾配アライメント手法を用いる。
論文参考訳（メタデータ） (2024-02-10T15:42:03Z)
FedSIS: Federated Split Learning with Intermediate Representation Sampling for Privacy-preserving Generalized Face Presentation Attack Detection [4.1897081000881045]
目に見えないドメイン/アタックへの一般化の欠如は、FacePAD(face presentation attack detection)アルゴリズムのアキレスヒールである。本研究では、プライバシ保護ドメインの一般化のために、中間表現サンプリング(FedSIS)を用いたFederated Split Learningと呼ばれる新しいフレームワークを導入する。
論文参考訳（メタデータ） (2023-08-20T11:49:12Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
論文参考訳（メタデータ） (2022-04-24T12:22:19Z)
Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
論文参考訳（メタデータ） (2022-04-06T09:13:25Z)
Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-05T09:15:13Z)
Federated Learning with Domain Generalization [11.92860245410696]
フェデレートラーニング(Federated Learning)は、集中型サーバの助けを借りて、機械学習モデルを共同でトレーニングすることを可能にする。実際には、複数のソースドメイン上でトレーニングされたモデルは、目に見えないターゲットドメイン上での一般化性能が劣る可能性がある。我々は,フェデレート学習とドメイン一般化能力の両立を図り,FedADGを提案する。
論文参考訳（メタデータ） (2021-11-20T01:02:36Z)
Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文参考訳（メタデータ） (2021-04-03T01:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。