論文の概要: Deep Domain Isolation and Sample Clustered Federated Learning for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.14693v1
• Date: Fri, 04 Oct 2024 12:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:40:31.147552
• Title: Deep Domain Isolation and Sample Clustered Federated Learning for Semantic Segmentation
• Title（参考訳）: セマンティックセグメンテーションのための深部ドメイン分離とサンプルクラスタ化フェデレーション学習
• Authors: Matthis Manthe, Carole Lartizien, Stefan Duffner,
• Abstract要約: 本稿では,2次元セグメンテーションタスクにおける参加者間の共変量変化の影響を初めて検討する。 我々は、モデルの勾配空間内で直接画像領域を分離するディープドメイン分離(DDI)を開発する。 我々は,このクラスタリングアルゴリズムをSCFL(Sample Clustered Federated Learning)フレームワークを通じて活用する。
• 参考スコア（独自算出の注目度）: 2.515027627030043
• License:
• Abstract: Empirical studies show that federated learning exhibits convergence issues in Non Independent and Identically Distributed (IID) setups. However, these studies only focus on label distribution shifts, or concept shifts (e.g. ambiguous tasks). In this paper, we explore for the first time the effect of covariate shifts between participants' data in 2D segmentation tasks, showing an impact way less serious than label shifts but still present on convergence. Moreover, current Personalized (PFL) and Clustered (CFL) Federated Learning methods intrinsically assume the homogeneity of the dataset of each participant and its consistency with future test samples by operating at the client level. We introduce a more general and realistic framework where each participant owns a mixture of multiple underlying feature domain distributions. To diagnose such pathological feature distributions affecting a model being trained in a federated fashion, we develop Deep Domain Isolation (DDI) to isolate image domains directly in the gradient space of the model. A federated Gaussian Mixture Model is fit to the sample gradients of each class, while the results are combined with spectral clustering on the server side to isolate decentralized sample-level domains. We leverage this clustering algorithm through a Sample Clustered Federated Learning (SCFL) framework, performing standard federated learning of several independent models, one for each decentralized image domain. Finally, we train a classifier enabling to associate a test sample to its corresponding domain cluster at inference time, offering a final set of models that are agnostic to any assumptions on the test distribution of each participant. We validate our approach on a toy segmentation dataset as well as different partitionings of a combination of Cityscapes and GTA5 datasets using an EfficientVIT-B0 model, showing a significant performance gain compared to other approaches. Our code is available at https://github.com/MatthisManthe/DDI_SCFL .
• Abstract（参考訳）: 実験的な研究により、フェデレーション学習は非独立分散IID(Independent and Identically Distributed)設定において収束問題を示すことが示された。 しかしながら、これらの研究はラベルの分布シフトや概念シフト(例えばあいまいなタスク)にのみ焦点をあてている。 本稿では,2次元セグメンテーションタスクにおける参加者データ間の共変量シフトの影響を初めて検討し,ラベルシフトよりも遥かに深刻ではないが収束に強い影響を示す。 さらに、現在のパーソナライズド(PFL)とクラスタド(CFL)のフェデレーションラーニング手法は、各参加者のデータセットの均一性と、クライアントレベルでの操作による将来のテストサンプルとの整合性を本質的に仮定する。 より汎用的で現実的なフレームワークを導入し、各参加者が複数の基礎となる機能領域の分布を混合して所有する。 モデルに影響を及ぼす病的特徴分布をフェデレートした方法で診断するために,モデルの勾配空間内で直接画像ドメインを分離するディープドメイン分離法(DDI)を開発した。 連合型ガウス混合モデルは各クラスのサンプル勾配に適合し、結果はサーバ側のスペクトルクラスタリングと組み合わせて分散化されたサンプルレベルドメインを分離する。 我々は,このクラスタリングアルゴリズムをSCFL(Sampple Clustered Federated Learning)フレームワークを通じて活用し,複数の独立したモデルの標準フェデレーション学習を行う。 最後に、テストサンプルを対応するドメインクラスタに推論時に関連付けることが可能な分類器をトレーニングし、各参加者のテスト分布に関する仮定に依存しないモデルの最終的なセットを提供する。 提案手法は,EfficientVIT-B0モデルを用いて,おもちゃのセグメンテーションデータセットと,CityscapesとGTA5のセグメンテーションデータセットの組み合わせの異なるパーティショニングについて検証し,他の手法と比較して大きな性能向上を示した。 私たちのコードはhttps://github.com/MatthisManthe/DDI_SCFL で利用可能です。

関連論文リスト

• Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
  フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T02:36:16Z)
• CNG-SFDA:Clean-and-Noisy Region Guided Online-Offline Source-Free Domain Adaptation [6.222371087167951]
  Source-Free Domain Adaptation (SFDA)は、ソースドメインのトレーニングされたモデルをターゲットドメインに採用することを目的としている。 ターゲットドメインでの偽ラベルの扱いは、モデルのパフォーマンスに悪影響を及ぼすため、非常に重要です。 我々は、オンライン/オフラインのSFDA設定において、複数のデータセットに関する広範な実験を行い、その結果、CNG-SFDAは、ほとんどのケースで最先端を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-26T01:29:37Z)
• Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
  フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。 本質的には、学習の劣化と収束速度の低下を経験する。 等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
  論文  参考訳（メタデータ） (2023-08-30T07:46:32Z)
• Compositional Semantic Mix for Domain Adaptation in Point Cloud Segmentation [65.78246406460305]
  合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。 本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T14:43:36Z)
• Generalizable Metric Network for Cross-domain Person Re-identification [55.71632958027289]
  クロスドメイン(ドメインの一般化)シーンは、Re-IDタスクにおいて課題となる。 既存のほとんどのメソッドは、すべてのドメインのドメイン不変またはロバストな機能を学ぶことを目的としています。 本稿では,サンプルペア空間における標本類似性を調べるために,GMN(Generalizable Metric Network)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T03:05:25Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• Synthetic-to-Real Domain Generalized Semantic Segmentation for 3D Indoor Point Clouds [69.64240235315864]
  本稿では,本課題に対して,合成-実領域一般化設定を提案する。 合成と実世界のポイントクラウドデータのドメインギャップは、主に異なるレイアウトとポイントパターンにあります。 CINMixとMulti-prototypeの両方が分配ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2022-12-09T05:07:43Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data [37.667379000751325]
  フェデレートラーニング(Federated Learning, FL)は、医療機関にグローバルモデルにおけるコラボレーションの見通しを提供する分散ラーニング手法である。 本研究では,FLの中間的半言語モデルを生成する適応階層クラスタリング手法について検討する。 本実験は, 分類精度の標準的なFL法と比較して, 不均質分布において有意な性能向上を示した。
  論文  参考訳（メタデータ） (2022-07-07T17:25:04Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。