論文の概要: Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains

• arxiv url: http://arxiv.org/abs/2403.09048v2
• Date: Sun, 27 Oct 2024 23:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:23.439236
• Title: Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains
• Title（参考訳）: 不均一データ領域を用いたフェデレーション型プロトタイプ学習におけるクロスドメイン表現変数のモデル化
• Authors: Lei Wang, Jieming Bian, Letian Zhang, Chen Chen, Jie Xu,
• Abstract要約: フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
• 参考スコア（独自算出の注目度）: 8.047147770476212
• License:
• Abstract: Federated learning (FL) allows collaborative machine learning training without sharing private data. While most FL methods assume identical data domains across clients, real-world scenarios often involve heterogeneous data domains. Federated Prototype Learning (FedPL) addresses this issue, using mean feature vectors as prototypes to enhance model generalization. However, existing FedPL methods create the same number of prototypes for each client, leading to cross-domain performance gaps and disparities for clients with varied data distributions. To mitigate cross-domain feature representation variance, we introduce FedPLVM, which establishes variance-aware dual-level prototypes clustering and employs a novel $\alpha$-sparsity prototype loss. The dual-level prototypes clustering strategy creates local clustered prototypes based on private data features, then performs global prototypes clustering to reduce communication complexity and preserve local data privacy. The $\alpha$-sparsity prototype loss aligns samples from underrepresented domains, enhancing intra-class similarity and reducing inter-class similarity. Evaluations on Digit-5, Office-10, and DomainNet datasets demonstrate our method's superiority over existing approaches.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 Federated Prototype Learning (FedPL)は、モデル一般化を強化するために、平均特徴ベクトルをプロトタイプとして使用することでこの問題に対処する。 しかし、既存のFedPLメソッドは各クライアントに対して同じ数のプロトタイプを作成し、ドメイン間のパフォーマンスギャップとデータ分散の異なるクライアントの相違をもたらす。 クロスドメインな特徴表現の分散を緩和するため、FedPLVMを導入し、分散を意識した2段階のプロトタイプをクラスタリングし、新しい$\alpha$-sparsityのプロトタイプロスを採用する。 デュアルレベルのプロトタイプクラスタリング戦略では、プライベートデータ機能に基づいたローカルクラスタ化プロトタイプを生成し、グローバルなプロトタイプクラスタリングを実行して、通信の複雑さを低減し、ローカルデータのプライバシを保存する。 $\alpha$-sparsityのプロトタイプの損失は、未表現のドメインからのサンプルを整列させ、クラス内の類似性を高め、クラス間の類似性を減少させる。 Digit-5、Office-10、DomainNetデータセットの評価は、既存のアプローチよりもメソッドの方が優れていることを示している。

関連論文リスト

• Deep Domain Isolation and Sample Clustered Federated Learning for Semantic Segmentation [2.515027627030043]
  本稿では,2次元セグメンテーションタスクにおける参加者間の共変量変化の影響を初めて検討する。 我々は、モデルの勾配空間内で直接画像領域を分離するディープドメイン分離(DDI)を開発する。 我々は,このクラスタリングアルゴリズムをSCFL(Sample Clustered Federated Learning)フレームワークを通じて活用する。
  論文  参考訳（メタデータ） (2024-10-04T12:43:07Z)
• An Enhanced Federated Prototype Learning Method under Domain Shift [36.73020712815063]
  Federated Learning (FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 最近の論文では、分散対応のデュアルレベルプロトタイプクラスタリングを導入し、新しい$alpha$-sparsityプロトタイプロスを用いる。 Digit-5、Office-10、DomainNetデータセットの評価は、我々の手法が既存のアプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-27T09:28:27Z)
• Semi-supervised Domain Adaptation via Prototype-based Multi-level Learning [4.232614032390374]
  半教師付きドメイン適応(SSDA)では、各クラスのいくつかのラベル付きターゲットサンプルが、完全なラベル付きソースドメインからターゲットドメインへの知識表現の転送を支援する。 本稿では,ラベル付き対象サンプルの可能性をうまく活用するために,プロトタイプベースのマルチレベル学習(ProML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-04T10:09:30Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• A Prototype-Oriented Clustering for Domain Shift with Source Privacy [66.67700676888629]
  本稿では,PCD(Prototype-oriented Clustering with Distillation)を導入し,既存の手法の性能と適用性を向上させる。 PCDはまず、プロトタイプとデータの分布を整列することで、ソースクラスタリングモデルを構築する。 その後、ソースモデルが提供するクラスタラベルを通じてターゲットモデルに知識を蒸留し、同時にターゲットデータをクラスタ化する。
  論文  参考訳（メタデータ） (2023-02-08T00:15:35Z)
• Synthetic-to-Real Domain Generalized Semantic Segmentation for 3D Indoor Point Clouds [69.64240235315864]
  本稿では,本課題に対して,合成-実領域一般化設定を提案する。 合成と実世界のポイントクラウドデータのドメインギャップは、主に異なるレイアウトとポイントパターンにあります。 CINMixとMulti-prototypeの両方が分配ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2022-12-09T05:07:43Z)
• Polycentric Clustering and Structural Regularization for Source-free Unsupervised Domain Adaptation [20.952542421577487]
  Source-Free Domain Adaptation (SFDA)は、訓練済みのソースモデルから学習した知識を未確認のターゲットドメインに転送することで、ドメイン適応問題を解決することを目的としている。 既存のほとんどのメソッドは、機能プロトタイプを生成することによって、ターゲットデータに擬似ラベルを割り当てる。 本稿では,PCSRと命名された新しいフレームワークを,クラス内多中心クラスタリングおよび構造規則化戦略を通じてSFDAに取り組むために提案する。
  論文  参考訳（メタデータ） (2022-10-14T02:20:48Z)
• BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy for Source-free Domain Adaptation [74.93176783541332]
  Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。 ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。 SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:23:02Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
  カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。 さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-03-28T17:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。