論文の概要: FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning

• arxiv url: http://arxiv.org/abs/2501.05496v1
• Date: Thu, 09 Jan 2025 16:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:16.383261
• Title: FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning
• Title（参考訳）: FedSA: プロトタイプに基づくフェデレーション学習のためのセマンティックアンカーによる統一表現学習
• Authors: Yanbing Zhou, Xiangmou Qu, Chenlong You, Jiyang Zhou, Jingyue Tang, Xin Zheng, Chunmao Cai, Yingbo Wu,
• Abstract要約: 本稿では,FedSA(Federated Learning via Semantic Anchors)という新しいフレームワークを提案する。 FedSAは、様々な分類タスクにおいて、既存のプロトタイプベースのFLメソッドを著しく上回っている。
• 参考スコア（独自算出の注目度）: 4.244188591221394
• License:
• Abstract: Prototype-based federated learning has emerged as a promising approach that shares lightweight prototypes to transfer knowledge among clients with data heterogeneity in a model-agnostic manner. However, existing methods often collect prototypes directly from local models, which inevitably introduce inconsistencies into representation learning due to the biased data distributions and differing model architectures among clients. In this paper, we identify that both statistical and model heterogeneity create a vicious cycle of representation inconsistency, classifier divergence, and skewed prototype alignment, which negatively impacts the performance of clients. To break the vicious cycle, we propose a novel framework named Federated Learning via Semantic Anchors (FedSA) to decouple the generation of prototypes from local representation learning. We introduce a novel perspective that uses simple yet effective semantic anchors serving as prototypes to guide local models in learning consistent representations. By incorporating semantic anchors, we further propose anchor-based regularization with margin-enhanced contrastive learning and anchor-based classifier calibration to correct feature extractors and calibrate classifiers across clients, achieving intra-class compactness and inter-class separability of prototypes while ensuring consistent decision boundaries. We then update the semantic anchors with these consistent and discriminative prototypes, which iteratively encourage clients to collaboratively learn a unified data representation with robust generalization. Extensive experiments under both statistical and model heterogeneity settings show that FedSA significantly outperforms existing prototype-based FL methods on various classification tasks.
• Abstract（参考訳）: プロトタイプベースのフェデレーション学習は、モデルに依存しない方法でデータ不均一性を持つクライアント間で知識を伝達するための軽量プロトタイプを共有する、有望なアプローチとして登場した。 しかし、既存の手法は、しばしばローカルモデルから直接プロトタイプを収集し、バイアスデータ分布とクライアント間の異なるモデルアーキテクチャによる表現学習の不整合を必然的に導入する。 本稿では,統計的およびモデル的不均一性の両方が表現の不整合,分類器の発散,スキュートなプロトタイプアライメントの悪循環を生じさせ,クライアントの性能に悪影響を及ぼすことを示す。 そこで我々は,FedSA(Fedated Learning via Semantic Anchors)という新しいフレームワークを提案し,プロトタイプを局所的な表現学習から分離する。 プロトタイプとして機能するシンプルなセマンティックアンカーを用いて、一貫した表現の学習において、局所モデルをガイドする新しい視点を導入する。 セマンティックアンカーを組み込むことにより,特徴抽出器とクライアント間のキャリブレート分類器を補正し,一貫した決定境界を確保しつつ,プロトタイプのクラス内コンパクト性とクラス間分離性を実現するために,マージン強化コントラスト学習とアンカーベース分類器キャリブレーションを用いたアンカーベース正規化を提案する。 そして、一貫性のある差別的なプロトタイプでセマンティックアンカーを更新し、クライアントが堅牢な一般化を伴う統一されたデータ表現を協調的に学習することを反復的に促します。 統計的およびモデル的不均一性設定の下での広範囲な実験により、FedSAは様々な分類タスクにおいて既存のプロトタイプベースのFL法を著しく上回っていることが示された。

関連論文リスト

• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes [45.13348636579529]
  本研究では,新しいタスクである動的不均一フェデレート学習(Dynamic Heterogeneous Federated Learning, DHFL)について検討する。 コンセプトドリフトを緩和するために,実りある一般化知識を提供し,プロトタイプ空間の連続性を確保するために,プロトタイプとセマンティックプロトタイプを構築した。 実験結果から,提案手法は様々な環境下での最先端性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-15T15:28:25Z)
• A Prototypical Semantic Decoupling Method via Joint Contrastive Learning for Few-Shot Name Entity Recognition [24.916377682689955]
  名前付きエンティティ認識(NER)は、わずかにラベル付きインスタンスに基づいて名前付きエンティティを識別することを目的としている。 連立コントラスト学習(PSDC)を用いた数発NERのためのプロトタイプセマンティックデカップリング手法を提案する。 2つの数ショットのNERベンチマークによる実験結果から、PSDCは全体の性能において従来のSOTA法よりも一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-02-27T09:20:00Z)
• ProtoVAE: A Trustworthy Self-Explainable Prototypical Variational Model [18.537838366377915]
  ProtoVAEは、クラス固有のプロトタイプをエンドツーエンドで学習する変分自動エンコーダベースのフレームワークである。 表現空間を正規化し、正則性制約を導入することにより、信頼性と多様性を強制する。
  論文  参考訳（メタデータ） (2022-10-15T00:42:13Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• A Closer Look at Personalization in Federated Image Classification [33.27317065917578]
  フェデレートラーニング(FL)は、分散化されたデータにまたがる単一のグローバルモデルを学ぶために開発された。 本稿では,グローバルモデルの収束後,フレキシブルなパーソナライゼーションを実現することができることを示す。 独立二段階パーソナライズされたFLフレームワークであるRepPerを提案する。
  論文  参考訳（メタデータ） (2022-04-22T06:32:18Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• From Anchor Generation to Distribution Alignment: Learning a Discriminative Embedding Space for Zero-Shot Recognition [46.47620562161315]
  ゼロショット学習(ZSL)では、分類されるサンプルは通常、属性などのサイド情報テンプレートに投影される。 我々は,DAGDA(Distriminative Anchor Generation and Distribution Alignment Model)と呼ばれる新しいフレームワークを提案する。 まず, 拡散型グラフ畳み込みネットワークを用いて, クラス情報と側情報の相互作用を明示的にモデル化し, 識別的アンカーを生成する手法を提案する。 第二に、アンカー空間におけるサンプルと対応するアンカーとをさらに整合させるため、細粒度に分布を洗練させることを目的として、意味的関係正則化を導入する。
  論文  参考訳（メタデータ） (2020-02-10T05:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。