Fugu-MT 論文翻訳(概要): Model-Contrastive Federated Domain Adaptation

論文の概要: Model-Contrastive Federated Domain Adaptation

arxiv url: http://arxiv.org/abs/2305.10432v1
Date: Sun, 7 May 2023 23:48:03 GMT
ステータス: 処理完了
システム内更新日: 2023-05-21 10:35:20.961785
Title: Model-Contrastive Federated Domain Adaptation
Title（参考訳）: モデルコントラスト型フェデレーションドメイン適応
Authors: Chang'an Yi, Haotian Chen, Yonghui Xu, Yifan Zhang
Abstract要約: フェデレートされたドメイン適応(FDA)は、ソースクライアント(ドメイン)から関連するが異なるターゲットクライアントに知識を協調的に転送することを目的としています。我々は、bfコントラスト学習と視覚変換器(ViT)に基づくbfフェデレーションbfドメインbf適応に対処することを目的とした、FDACというモデルベース手法を提案する。我々の知る限りでは、FDACはViTの潜在アーキテクチャをフェデレートされた環境下で操作することで、転送可能な表現を学習する最初の試みである。
参考スコア（独自算出の注目度）: 3.9435648520559177
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated domain adaptation (FDA) aims to collaboratively transfer knowledge from source clients (domains) to the related but different target client, without communicating the local data of any client. Moreover, the source clients have different data distributions, leading to extremely challenging in knowledge transfer. Despite the recent progress in FDA, we empirically find that existing methods can not leverage models of heterogeneous domains and thus they fail to achieve excellent performance. In this paper, we propose a model-based method named FDAC, aiming to address {\bf F}ederated {\bf D}omain {\bf A}daptation based on {\bf C}ontrastive learning and Vision Transformer (ViT). In particular, contrastive learning can leverage the unlabeled data to train excellent models and the ViT architecture performs better than convolutional neural networks (CNNs) in extracting adaptable features. To the best of our knowledge, FDAC is the first attempt to learn transferable representations by manipulating the latent architecture of ViT under the federated setting. Furthermore, FDAC can increase the target data diversity by compensating from each source model with insufficient knowledge of samples and features, based on domain augmentation and semantic matching. Extensive experiments on several real datasets demonstrate that FDAC outperforms all the comparative methods in most conditions. Moreover, FDCA can also improve communication efficiency which is another key factor in the federated setting.
Abstract（参考訳）: フェデレーションドメイン適応(fda)は、クライアントのローカルデータを通信することなく、ソースクライアント(ドメイン)から関連するが、異なるターゲットクライアントへ知識を協調的に転送することを目的としている。さらに、ソースクライアントは異なるデータ分布を持つため、知識転送が極めて困難になる。 FDAの最近の進歩にもかかわらず、既存の手法では異種ドメインのモデルを利用できないため、優れたパフォーマンスを達成できないことが実証的に判明した。本稿では,モデルに基づく手法である fdac を提案する。この手法は,視覚トランスフォーマ(vit)の学習と学習をベースとし,分散した {\bf d}omain {\bf a}daptation に対処することを目的としている。特に対照的な学習は、ラベルのないデータを利用して優れたモデルをトレーニングし、ViTアーキテクチャは適応可能な特徴を抽出する上で、畳み込みニューラルネットワーク(CNN)よりも優れている。我々の知る限りでは、FDACはViTの潜在アーキテクチャをフェデレートした環境で操作することで、転送可能な表現を学習する最初の試みである。さらに、FDACは、ドメイン拡張とセマンティックマッチングに基づいて、各ソースモデルからサンプルと特徴の知識の不足を補うことで、ターゲットデータの多様性を向上させることができる。いくつかの実データセットに関する広範囲な実験は、fdacがほとんどの条件で比較方法よりも優れていることを示している。さらに、FDCAは、フェデレーション設定におけるもう一つの重要な要素である通信効率を向上させることができる。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文参考訳（メタデータ） (2023-08-21T21:57:01Z)
FACT: Federated Adversarial Cross Training [0.0]
Federated Adrial Cross Training (FACT)は、ソースクライアント間の暗黙のドメイン差を利用して、ターゲットドメイン内のドメインシフトを特定する。我々は、FACTが最先端のフェデレーション、非フェデレーション、およびソースフリードメイン適応モデルより優れていることを実証的に示す。
論文参考訳（メタデータ） (2023-06-01T12:25:43Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Mitigating Data Heterogeneity in Federated Learning with Data Augmentation [26.226057709504733]
Federated Learning(FL)は、集中型モデルのトレーニングを可能にするフレームワークである。主な障害の1つは、データ不均一性、すなわち、各クライアントが独立に独立に分散した(非IID)データを持っていることである。最近の証拠は、データ拡張が同等またはそれ以上のパフォーマンスを誘導できることを示している。
論文参考訳（メタデータ） (2022-06-20T19:47:43Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文参考訳（メタデータ） (2020-11-14T06:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。