論文の概要: Federated Unsupervised Domain Generalization using Global and Local Alignment of Gradients
- arxiv url: http://arxiv.org/abs/2405.16304v1
- Date: Sat, 25 May 2024 17:12:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 21:57:23.872944
- Title: Federated Unsupervised Domain Generalization using Global and Local Alignment of Gradients
- Title(参考訳): グローバルアライメントと局所アライメントを用いた非教師なしドメインの一般化
- Authors: Farhad Pourpanah, Mahdiyar Molahasani, Milad Soltany, Michael Greenspan, Ali Etemad,
- Abstract要約: まず、教師なし学習における領域シフトと勾配のアライメントの関係を理論的に確立する。
クライアントレベルとサーバレベルの両方で勾配を整合させることで、モデルの新たな(ターゲット)ドメインへの一般化が容易であることを示す。
我々はFedGaLAという新しい手法を提案し、クライアントレベルで勾配アライメントを行い、クライアントがドメイン不変の機能を学ぶことを奨励する。
- 参考スコア(独自算出の注目度): 20.38994974049825
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We address the problem of federated domain generalization in an unsupervised setting for the first time. We first theoretically establish a connection between domain shift and alignment of gradients in unsupervised federated learning and show that aligning the gradients at both client and server levels can facilitate the generalization of the model to new (target) domains. Building on this insight, we propose a novel method named FedGaLA, which performs gradient alignment at the client level to encourage clients to learn domain-invariant features, as well as global gradient alignment at the server to obtain a more generalized aggregated model. To empirically evaluate our method, we perform various experiments on four commonly used multi-domain datasets, PACS, OfficeHome, DomainNet, and TerraInc. The results demonstrate the effectiveness of our method which outperforms comparable baselines. Ablation and sensitivity studies demonstrate the impact of different components and parameters in our approach. The source code will be available online upon publication.
- Abstract(参考訳): フェデレートされた領域一般化の問題を、教師なしの環境で初めて解決する。
まず、教師なしのフェデレーション学習におけるドメインシフトと勾配のアライメントの関連性を理論的に確立し、クライアントレベルとサーバレベルのグラデーションの整合が新しい(ターゲット)ドメインへのモデルの一般化を促進することを示す。
この知見に基づいてFedGaLAという新しい手法を提案し、クライアントがドメイン不変の特徴を学習できるようにクライアントレベルで勾配アライメントを実行するとともに、サーバ上でグローバルな勾配アライメントを行い、より一般化された集約モデルを得る。
提案手法を実証的に評価するために,PACS,OfficeHome,DomainNet,TerraIncの4つの一般的なマルチドメインデータセットを用いて実験を行った。
その結果,本手法が同等のベースラインより優れていることを示す。
アブレーションと感度の研究は、我々のアプローチにおける異なる成分とパラメータの影響を示している。
ソースコードは、公開時にオンラインで入手できる。
関連論文リスト
- FedGCA: Global Consistent Augmentation Based Single-Source Federated Domain Generalization [29.989092118578103]
Federated Domain Generalization (FedDG) は、多ドメイントレーニングサンプルでドメインを見落とせるように、グローバルモデルをトレーニングすることを目的としている。
連合学習ネットワークのクライアントは、固有のサンプリングと時間制限のため、単一のIIDドメインに制限されることが多い。
本稿では,FedGCA(Federated Global Consistent Augmentation)法について紹介する。
論文 参考訳(メタデータ) (2024-09-23T02:24:46Z) - Feature Diversification and Adaptation for Federated Domain Generalization [27.646565383214227]
実世界のアプリケーションでは、ローカルクライアントは、しばしば制限されたドメイン内で動作し、クライアント間でのドメインシフトにつながる。
フェデレーション(federated feature diversification)の概念を導入し,プライバシを保ちながら,ローカルモデルによるクライアント不変表現の学習を支援する。
我々のグローバルモデルでは、目に見えないテスト領域データに対して堅牢な性能を示す。
論文 参考訳(メタデータ) (2024-07-11T07:45:10Z) - StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。
最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。
データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
論文 参考訳(メタデータ) (2024-06-01T02:41:34Z) - Efficiently Assemble Normalization Layers and Regularization for Federated Domain Generalization [1.1534313664323637]
ドメインシフト(Domain shift)は、マシンラーニングにおいて、目に見えないドメインでテストした場合に、モデルのパフォーマンス低下に悩まされるという深刻な問題である。
FedDGは、プライバシー保護の方法で協調的なクライアントを使用してグローバルモデルをトレーニングしようと試みている。
本稿では, 誘導正規化方式に依存するFedDGの新しいアーキテクチャ手法,すなわちgPerXANを紹介する。
論文 参考訳(メタデータ) (2024-03-22T20:22:08Z) - Hypernetwork-Driven Model Fusion for Federated Domain Generalization [26.492360039272942]
フェデレートラーニング(FL)は、異種データのドメインシフトにおいて大きな課題に直面します。
非線形アグリゲーションにハイパーネットワークを用いた、ハイパーネットワークベースのフェデレート・フュージョン(hFedF)と呼ばれるロバストなフレームワークを提案する。
本手法では,ドメインの一般化を効果的に管理するために,クライアント固有の埋め込みと勾配アライメント手法を用いる。
論文 参考訳(メタデータ) (2024-02-10T15:42:03Z) - Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。
組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。
4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文 参考訳(メタデータ) (2022-03-24T11:54:59Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-05T09:15:13Z) - Adaptive Methods for Real-World Domain Generalization [32.030688845421594]
本研究では、未確認の試験サンプルからドメイン情報を活用できるかどうかを検討する。
a) 教師なしのトレーニング例から識別的ドメイン埋め込みを最初に学び、b) このドメイン埋め込みを補足的な情報として使ってドメイン適応モデルを構築する。
提案手法は,各種領域一般化ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2021-03-29T17:44:35Z) - Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain
Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。
対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。
その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。
モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文 参考訳(メタデータ) (2020-12-15T13:21:54Z) - Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation
Method for Semantic Segmentation [97.8552697905657]
このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。
本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。
GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
論文 参考訳(メタデータ) (2020-04-02T03:25:05Z) - Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。
さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-03-28T17:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。