論文の概要: FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation

• arxiv url: http://arxiv.org/abs/2205.00172v1
• Date: Sat, 30 Apr 2022 06:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 15:33:57.999846
• Title: FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation
• Title（参考訳）: FEDIC:校正蒸留による非IID・長期データのフェデレーション学習
• Authors: Xinyi Shang, Yang Lu, Yiu-ming Cheung, Hanzi Wang
• Abstract要約: 非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
• 参考スコア（独自算出の注目度）: 54.2658887073461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning provides a privacy guarantee for generating good deep learning models on distributed clients with different kinds of data. Nevertheless, dealing with non-IID data is one of the most challenging problems for federated learning. Researchers have proposed a variety of methods to eliminate the negative influence of non-IIDness. However, they only focus on the non-IID data provided that the universal class distribution is balanced. In many real-world applications, the universal class distribution is long-tailed, which causes the model seriously biased. Therefore, this paper studies the joint problem of non-IID and long-tailed data in federated learning and proposes a corresponding solution called Federated Ensemble Distillation with Imbalance Calibration (FEDIC). To deal with non-IID data, FEDIC uses model ensemble to take advantage of the diversity of models trained on non-IID data. Then, a new distillation method with logit adjustment and calibration gating network is proposed to solve the long-tail problem effectively. We evaluate FEDIC on CIFAR-10-LT, CIFAR-100-LT, and ImageNet-LT with a highly non-IID experimental setting, in comparison with the state-of-the-art methods of federated learning and long-tail learning. Our code is available at https://github.com/shangxinyi/FEDIC.
• Abstract（参考訳）: フェデレーション学習は、さまざまな種類のデータで分散クライアント上で優れたディープラーニングモデルを生成するためのプライバシー保証を提供する。 しかし、非IIDデータを扱うことは、連合学習において最も難しい問題の一つである。 研究者たちは、非IID性による負の影響を排除する様々な方法を提案している。 しかし、普遍クラス分布が平衡であるような非IIDデータのみに焦点を当てている。 多くの実世界の応用において、普遍クラス分布は長い尾を持つため、モデルに深刻なバイアスがかかる。 そこで本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡校正という対応ソリューションを提案する。 非IIDデータを扱うために、FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を利用する。 そこで, ロージット調整とキャリブレーションゲーティングネットワークを用いた新しい蒸留法を提案し, ロングテール問題を効果的に解決した。 本研究では,cifar-10-lt,cifar-100-lt,imagenet-ltにおけるfederated learningおよびlong-tail learningの最先端手法との比較検討を行った。 私たちのコードはhttps://github.com/shangxinyi/FEDICで利用可能です。

関連論文リスト

• Non-IID data in Federated Learning: A Systematic Review with Taxonomy, Metrics, Methods, Frameworks and Future Directions [2.9434966603161072]
  この体系的なレビューは、非IIDデータ、パーティションプロトコル、メトリクスの詳細な分類を提供することによってギャップを埋めることを目的としている。 非IIDデータに対処するための一般的なソリューションと、異種データを用いたフェデレートラーニングで使用される標準化されたフレームワークについて述べる。
  論文  参考訳（メタデータ） (2024-11-19T09:53:28Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Contrastive Federated Learning with Tabular Data Silos [9.516897428263146]
  データサイロから学習するためのソリューションとして,データサイロを用いたコントラシティブフェデレーション学習(CFL)を提案する。 CFLはこれらの課題に対処し、精度を向上させるために現在の手法より優れています。 複雑なクライアント環境において,コントラッシブ・フェデレート・ラーニング・アプローチの利点を示す肯定的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-10T00:24:59Z)
• Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization [11.813552364878868]
  フェデレートされた学習アルゴリズムは、独立および同一分散(IID)データに対して合理的に機能する。 彼らは異種環境、すなわち非IIDデータに悩まされている。 ヘテロジニアスな環境下でモデルを効果的に訓練する新しい手法であるLearning from Drift (LfD)を提案する。
  論文  参考訳（メタデータ） (2023-09-13T09:23:09Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• Towards Federated Long-Tailed Learning [76.50892783088702]
  データプライバシとクラス不均衡は、多くの機械学習タスクの例外ではなく、標準である。 最近の試みでは、広範にわたるプライベートデータから学習する問題に対処する一方で、長い尾を持つデータから学ぶことが試みられている。 本稿では,プライバシ保護フェデレーション学習(FL)フレームワークのコンテキスト下での長期的データ分散(LT)学習に焦点を当てた。
  論文  参考訳（メタデータ） (2022-06-30T02:34:22Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。