論文の概要: Hierarchical Knowledge Structuring for Effective Federated Learning in Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2504.03505v1
• Date: Fri, 04 Apr 2025 15:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:47:36.512729
• Title: Hierarchical Knowledge Structuring for Effective Federated Learning in Heterogeneous Environments
• Title（参考訳）: 不均一環境における効果的なフェデレーション学習のための階層的知識構造化
• Authors: Wai Fong Tam, Qilei Li, Ahmed M. Abdelmonie,
• Abstract要約: フェデレーション学習は、個々のデータのプライバシを維持しながら、分散エンティティ間の協調的なモデルトレーニングを可能にする。 近年の取り組みは、これらの問題を克服するために、ロジットに基づく知識集約と蒸留を活用している。 サンプルログを多粒度コードブックに定式化する階層的知識構造化(HKS)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License:
• Abstract: Federated learning enables collaborative model training across distributed entities while maintaining individual data privacy. A key challenge in federated learning is balancing the personalization of models for local clients with generalization for the global model. Recent efforts leverage logit-based knowledge aggregation and distillation to overcome these issues. However, due to the non-IID nature of data across diverse clients and the imbalance in the client's data distribution, directly aggregating the logits often produces biased knowledge that fails to apply to individual clients and obstructs the convergence of local training. To solve this issue, we propose a Hierarchical Knowledge Structuring (HKS) framework that formulates sample logits into a multi-granularity codebook to represent logits from personalized per-sample insights to globalized per-class knowledge. The unsupervised bottom-up clustering method is leveraged to enable the global server to provide multi-granularity responses to local clients. These responses allow local training to integrate supervised learning objectives with global generalization constraints, which results in more robust representations and improved knowledge sharing in subsequent training rounds. The proposed framework's effectiveness is validated across various benchmarks and model architectures.
• Abstract（参考訳）: フェデレーション学習は、個々のデータのプライバシを維持しながら、分散エンティティ間の協調的なモデルトレーニングを可能にする。 フェデレートラーニングにおける重要な課題は、ローカルクライアントのモデルのパーソナライズとグローバルモデルの一般化のバランスをとることである。 近年の取り組みは、これらの問題を克服するために、ロジットに基づく知識集約と蒸留を活用している。 しかし、多様なクライアントにまたがるデータの非IID的な性質と、クライアントのデータ分散の不均衡のため、ロジットを直接集約すると、個々のクライアントに適用できず、ローカルトレーニングの収束を妨げるバイアスのある知識が生じることが多い。 この問題を解決するために,サンプルログを複数粒度コードブックに定式化して,パーソナライズされたサンプル単位の洞察からグローバル化されたクラス単位の知識まで,ロジットを表現する階層的知識構造化(HKS)フレームワークを提案する。 教師なしのボトムアップクラスタリング手法を利用して、グローバルサーバがローカルクライアントに複数の粒度応答を提供できるようにする。 これらの反応により、局所的な訓練は教師付き学習目標とグローバルな一般化制約を統合することができ、それによってより堅牢な表現が得られ、その後の訓練ラウンドにおける知識共有が向上する。 提案するフレームワークの有効性は,さまざまなベンチマークやモデルアーキテクチャで検証されている。

関連論文リスト

• FedRIR: Rethinking Information Representation in Federated Learning [7.765917932796046]
  ネットワークエッジのモバイルおよびWeb-of-Things(WoT)デバイスは、機械学習アプリケーションのために膨大な量のデータを生成する。 ネットワークエッジのモバイルおよびWeb-of-Things(WoT)デバイスは、機械学習アプリケーションのために膨大な量のデータを生成する。
  論文  参考訳（メタデータ） (2025-02-02T17:17:29Z)
• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
  本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。 フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。 本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
  論文  参考訳（メタデータ） (2022-11-24T13:08:43Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
  既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。 グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。 しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。 我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:09:53Z)
• GRP-FED: Addressing Client Imbalance in Federated Learning via Global-Regularized Personalization [6.592268037926868]
  本稿では,データ不均衡問題に対処するため,Global-Regularized Personalization (GRP-FED)を提案する。 適応アグリゲーションでは、グローバルモデルは複数のクライアントを公平に扱い、グローバルな長期的問題を緩和する。 我々のGRP-FEDは,グローバルシナリオとローカルシナリオの両方で改善されている。
  論文  参考訳（メタデータ） (2021-08-31T14:09:04Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。