論文の概要: Discovering Collaboration from Novelty: Random Network Distillation for Clustered Federated Learning

• arxiv url: http://arxiv.org/abs/2606.30499v1
• Date: Mon, 29 Jun 2026 16:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.325314
• Title: Discovering Collaboration from Novelty: Random Network Distillation for Clustered Federated Learning
• Title（参考訳）: 新規性からコラボレーションを発見する:クラスタ化フェデレーション学習のためのランダムネットワーク蒸留
• Abstract要約: 本稿ではランダムネットワーク蒸留に基づく軽量クラスタリング手法を提案する。 各クライアントは、ローカルデータ上にコンパクトなランダムネットワーク蒸留予測器をトレーニングし、その予測エラーを新しい信号として使用して、他のクライアントとの類似性を推定する。 これにより、生データを共有したり、メインモデルを繰り返し評価したりすることなく、有意義なクライアントグループをフェデレートトレーニングの前に発見することができる。
• 参考スコア（独自算出の注目度）: 1.8333733315332996
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning often suffers under non-independently and identically distributed data, where a single global model may fail to represent the diversity of client distributions. Clustered Federated Learning mitigates this issue by training specialized models for groups of similar clients, but existing approaches often couple cluster assignment with the main training loop, increasing computational and communication costs. We propose a lightweight clustering approach based on Random Network Distillation. Each client trains a compact Random Network Distillation predictor on its local data and uses its prediction error as a novelty signal to estimate similarity with other clients. This enables the discovery of meaningful client groups before federated training, without sharing raw data or repeatedly evaluating the main model. Crucially, the resulting federations emerge from local novelty estimates at runtime, making the method suitable for autonomous large-scale distributed systems where neither the number of clusters nor the collaboration structure can be specified a priori. Overall, by decoupling clustering from learning, the method provides a task-agnostic and efficient mechanism for autonomous collaboration under non-independently and identically distributed data.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、非独立的で同一の分散データの下で、単一のグローバルモデルがクライアント分布の多様性を表現できない場合が多い。 クラスタ化フェデレーション学習(Clustered Federated Learning)は、類似したクライアントのグループのための特別なモデルをトレーニングすることでこの問題を軽減するが、既存のアプローチでは、クラスタ割り当てをメインのトレーニングループと組み合わせて、計算と通信のコストを増大させることが多い。 本稿ではランダムネットワーク蒸留に基づく軽量クラスタリング手法を提案する。 各クライアントは、ローカルデータ上にコンパクトなランダムネットワーク蒸留予測器をトレーニングし、その予測エラーを新しい信号として使用して、他のクライアントとの類似性を推定する。 これにより、生データを共有したり、メインモデルを繰り返し評価したりすることなく、有意義なクライアントグループをフェデレートトレーニングの前に発見することができる。 重要なことに、結果として生じる連合は、実行時に局所的な新規性見積から生まれ、クラスタの数やコラボレーション構造を事前に指定できないような、自律的な大規模分散システムに適した方法である。 全体として、クラスタリングを学習から切り離すことにより、非独立的で同一の分散データの下での自律的なコラボレーションのためのタスク非依存かつ効率的なメカニズムを提供する。

関連論文リスト

• One-Shot Hierarchical Federated Clustering [51.490181220883905]
  本稿では,効率的な階層型クラスタリングフレームワークを提案する。 クライアント-エンドの分散探索とサーバ-エンドの分散アグリゲーションを実行する。 クライアント間の複雑なクラスタ分布を効率的に探索できることが判明した。
  論文  参考訳（メタデータ） (2026-01-10T02:58:33Z)
• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [23.140777064095833]
  フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。 分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。 低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
  論文  参考訳（メタデータ） (2024-10-24T15:48:34Z)
• A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
  連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。 本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。 この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
  論文  参考訳（メタデータ） (2024-10-20T19:11:24Z)
• Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
  Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。 これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。 この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
  論文  参考訳（メタデータ） (2024-08-20T09:05:44Z)
• FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
  フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。 我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
  論文  参考訳（メタデータ） (2024-07-09T02:47:16Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
  フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。 本質的には、学習の劣化と収束速度の低下を経験する。 等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
  論文  参考訳（メタデータ） (2023-08-30T07:46:32Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。