論文の概要: Federated Cross-Training Learners for Robust Generalization under Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2405.20046v2
• Date: Fri, 01 Aug 2025 16:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.3859
• Title: Federated Cross-Training Learners for Robust Generalization under Data Heterogeneity
• Title（参考訳）: データ不均一性を考慮したロバスト一般化のためのクロストレーニング学習者
• Authors: Zhuang Qi, Lei Meng, Ruohan Zhang, Yu Wang, Xin Qi, Xiangxu Meng, Han Yu, Qiang Yang,
• Abstract要約: これにより、モデルは異なるソースからのデータをトレーニングし、一般化能力を改善することができる。 パーソナライズされた視点からの知識の蒸留は、クライアント固有の特性を保持し、局所的な知識基盤を広げる。 我々は,FedCTが局所的,グローバル的両視点からの知識を緩和し,最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 27.97181776470323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning benefits from cross-training strategies, which enables models to train on data from distinct sources to improve generalization capability. However, due to inherent differences in data distributions, the optimization goals of local models remain misaligned, and this mismatch continues to manifest as feature space heterogeneity even after cross-training. We argue that knowledge distillation from the personalized view preserves client-specific characteristics and expands the local knowledge base, while distillation from the global view provides consistent semantic anchors that facilitate feature alignment across clients. To achieve this goal, this paper presents a cross-training scheme, termed FedCT, includes three main modules, where the consistency-aware knowledge broadcasting module aims to optimize model assignment strategies, which enhances collaborative advantages between clients and achieves an efficient federated learning process. The multi-view knowledge-guided representation learning module leverages fused prototypical knowledge from both global and local views to enhance the preservation of local knowledge before and after model exchange, as well as to ensure consistency between local and global knowledge. The mixup-based feature augmentation module aggregates rich information to further increase the diversity of feature spaces, which enables the model to better discriminate complex samples. Extensive experiments were conducted on four datasets in terms of performance comparison, ablation study, in-depth analysis and case study. The results demonstrated that FedCT alleviates knowledge forgetting from both local and global views, which enables it outperform state-of-the-art methods.
• Abstract（参考訳）: これにより、モデルは異なるソースからのデータをトレーニングし、一般化能力を改善することができる。 しかし、データ分布に固有の違いがあるため、局所モデルの最適化目標は不一致のままであり、このミスマッチはクロストレーニング後も特徴空間の不均一性として現れ続けている。 パーソナライズされた視点からの知識蒸留は、クライアント固有の特性を保持し、局所的な知識ベースを拡張する一方で、グローバルな視点からの知識蒸留は、クライアント間の機能アライメントを促進する一貫したセマンティックアンカーを提供する。 この目的を達成するために,FedCTと呼ばれるクロストレーニング方式を提案し,一貫性を考慮した知識放送モジュールはモデル割り当て戦略の最適化を目的としており,クライアント間の協調的優位性を向上し,効率的なフェデレート学習プロセスを実現する。 多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した原型知識を利用して、モデル交換前後の局所的な知識の保存を強化し、局所的知識とグローバルな知識の整合性を確保する。 ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。 比較実験,アブレーション試験,深部分析,ケーススタディの4つのデータセットを用いて実験を行った。 その結果,FedCTは局所的・グローバル的な視点から知識を忘れることが軽減され,最先端の手法よりも優れた結果が得られた。

関連論文リスト

• FedSC: Federated Learning with Semantic-Aware Collaboration [12.366529890744822]
  フェデレートラーニング(FL)は、プライバシ保護のためのデータを共有することなく、クライアント間で協調的にモデルをトレーニングすることを目的としている。 不均一なクライアント間でクライアント固有のクラス関連知識を収集するために,FedSC(Federated Learning with Semantic-Aware Collaboration)を提案する。
  論文  参考訳（メタデータ） (2025-06-26T05:04:55Z)
• Hierarchical Knowledge Structuring for Effective Federated Learning in Heterogeneous Environments [0.6144680854063939]
  フェデレーション学習は、個々のデータのプライバシを維持しながら、分散エンティティ間の協調的なモデルトレーニングを可能にする。 近年の取り組みは、これらの問題を克服するために、ロジットに基づく知識集約と蒸留を活用している。 サンプルログを多粒度コードブックに定式化する階層的知識構造化(HKS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-04T15:06:02Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Adaptive Global-Local Representation Learning and Selection for Cross-Domain Facial Expression Recognition [54.334773598942775]
  ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる 適応的グローバルローカル表現学習・選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-20T02:21:41Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces [46.59992662412557]
  本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。 我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。 モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
  論文  参考訳（メタデータ） (2022-08-29T10:05:49Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
  我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。 提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
  論文  参考訳（メタデータ） (2022-04-04T14:49:19Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。