論文の概要: Soft Separation and Distillation: Toward Global Uniformity in Federated Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2508.01251v1
• Date: Sat, 02 Aug 2025 08:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.787098
• Title: Soft Separation and Distillation: Toward Global Uniformity in Federated Unsupervised Learning
• Title（参考訳）: ソフトな分離と蒸留:フェデレートされた教師なし学習におけるグローバルな一様性を目指して
• Authors: Hung-Chieh Fang, Hsuan-Tien Lin, Irwin King, Yifei Zhang,
• Abstract要約: フェデレーション・アントラクテッド・ラーニング(FUL)は、フェデレーションと自己教師付きセッティングで表現表現を学ぶことを目的としている。 FULで学習される表現の質は通常、埋め込み空間において一様表現がどのように分布するかの尺度である一様性によって決定される。 本稿では,クライアント表現の異なる方向への拡散を促すことによって,クライアント間の均一性を維持する新しいアプローチである,ソフト分離蒸留(SSD)を提案する。
• 参考スコア（独自算出の注目度）: 47.091499019199546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Unsupervised Learning (FUL) aims to learn expressive representations in federated and self-supervised settings. The quality of representations learned in FUL is usually determined by uniformity, a measure of how uniformly representations are distributed in the embedding space. However, existing solutions perform well in achieving intra-client (local) uniformity for local models while failing to achieve inter-client (global) uniformity after aggregation due to non-IID data distributions and the decentralized nature of FUL. To address this issue, we propose Soft Separation and Distillation (SSD), a novel approach that preserves inter-client uniformity by encouraging client representations to spread toward different directions. This design reduces interference during client model aggregation, thereby improving global uniformity while preserving local representation expressiveness. We further enhance this effect by introducing a projector distillation module to address the discrepancy between loss optimization and representation quality. We evaluate SSD in both cross-silo and cross-device federated settings, demonstrating consistent improvements in representation quality and task performance across various training scenarios. Our results highlight the importance of inter-client uniformity in FUL and establish SSD as an effective solution to this challenge. Project page: https://ssd-uniformity.github.io/
• Abstract（参考訳）: フェデレーション・アントラクテッド・ラーニング(FUL)は、フェデレーションと自己教師付きセッティングで表現表現を学ぶことを目的としている。 FULで学習される表現の質は通常、埋め込み空間において一様表現がどのように分布するかの尺度である一様性によって決定される。 しかし、既存の解法は、非IIDデータ分布とFULの分散性により、集約後のクライアント間(グローバル)均一性を達成することができず、局所モデルに対するクライアント内(局所)均一性を達成するのにうまく機能する。 この問題に対処するために,クライアント表現の異なる方向への拡散を促すことによって,クライアント間の均一性を維持する新しい手法であるSoft Separation and Distillation(SSD)を提案する。 この設計により、クライアントモデルアグリゲーション時の干渉を低減し、局所表現表現性を保ちながらグローバルな統一性を向上させる。 我々は、損失最適化と表現品質の相違に対処するプロジェクター蒸留モジュールを導入することにより、この効果をさらに強化する。 我々は、SSDをクロスサイロとクロスデバイスの両方のフェデレーション設定で評価し、様々なトレーニングシナリオにおいて、表現品質とタスクパフォーマンスが一貫した改善を示す。 本研究は、FULにおけるクライアント間均一性の重要性を強調し、SSDをこの課題に対する効果的な解決策として確立するものである。 プロジェクトページ: https://ssd-uniformity.github.io/

関連論文リスト

• Generalizable Person Re-identification via Balancing Alignment and Uniformity [22.328800139066914]
  ドメイン一般化可能な人物再識別(DG re-ID)は、分布シフトに頑健な識別表現を学習することを目的としている。 ある増補は、このタスクにおいて偏極効果を示し、分配性能を低下させながら、分配性能を向上させる。 本研究では,アライメントと統一性のバランスを維持することによって,この効果を効果的に軽減する新しい枠組みであるBAUを提案する。
  論文  参考訳（メタデータ） (2024-11-18T11:13:30Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
  我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。 分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
  論文  参考訳（メタデータ） (2024-06-13T14:45:35Z)
• FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features [15.555538379806135]
  Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。 我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
  論文  参考訳（メタデータ） (2023-08-30T06:36:32Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Neural Collapse Inspired Federated Learning with Non-iid Data [31.576588815816095]
  非独立かつ同一に分散された(非ID)特性は、ローカル更新に大きな違いをもたらし、中央サーバの性能に影響する。 神経崩壊の現象にインスパイアされた私たちは、各クライアントを最適なグローバル構造に最適化するよう強制する。 提案手法は, 異なるサイズのデータセット上での収束速度を高速化して, 性能を向上することができる。
  論文  参考訳（メタデータ） (2023-03-27T05:29:53Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。