論文の概要: Homogenizing Non-IID datasets via In-Distribution Knowledge Distillation for Decentralized Learning

• arxiv url: http://arxiv.org/abs/2304.04326v1
• Date: Sun, 9 Apr 2023 23:26:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:13:20.293966
• Title: Homogenizing Non-IID datasets via In-Distribution Knowledge Distillation for Decentralized Learning
• Title（参考訳）: 分散学習のための分布内知識蒸留による非IIDデータセットの均質化
• Authors: Deepak Ravikumar, Gobinda Saha, Sai Aparna Aketi, Kaushik Roy,
• Abstract要約: 分散学習により、複数のノード上で分散的にディープニューラルネットワーク(DNN)のサーバレストレーニングが可能になる。 分散学習における重要な課題の1つは、異種データ分散である。 異種データ分散の課題を解決するために,IDKD(In-Distribution Knowledge Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 6.099844187449478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning enables serverless training of deep neural networks (DNNs) in a distributed manner on multiple nodes. This allows for the use of large datasets, as well as the ability to train with a wide variety of data sources. However, one of the key challenges with decentralized learning is heterogeneity in the data distribution across the nodes. In this paper, we propose In-Distribution Knowledge Distillation (IDKD) to address the challenge of heterogeneous data distribution. The goal of IDKD is to homogenize the data distribution across the nodes. While such data homogenization can be achieved by exchanging data among the nodes sacrificing privacy, IDKD achieves the same objective using a common public dataset across nodes without breaking the privacy constraint. This public dataset is different from the training dataset and is used to distill the knowledge from each node and communicate it to its neighbors through the generated labels. With traditional knowledge distillation, the generalization of the distilled model is reduced because all the public dataset samples are used irrespective of their similarity to the local dataset. Thus, we introduce an Out-of-Distribution (OoD) detector at each node to label a subset of the public dataset that maps close to the local training data distribution. Finally, only labels corresponding to these subsets are exchanged among the nodes and with appropriate label averaging each node is finetuned on these data subsets along with its local data. Our experiments on multiple image classification datasets and graph topologies show that the proposed IDKD scheme is more effective than traditional knowledge distillation and achieves state-of-the-art generalization performance on heterogeneously distributed data with minimal communication overhead.
• Abstract（参考訳）: 分散学習により、複数のノード上で分散的にディープニューラルネットワーク(DNN)のサーバレストレーニングが可能になる。 これにより、大規模なデータセットの使用や、さまざまなデータソースでトレーニングすることが可能になる。 しかしながら、分散学習における重要な課題の1つは、ノード間のデータ分散の多様性である。 本稿では、異種データ分散の課題を解決するために、IDKD(In-Distribution Knowledge Distillation)を提案する。 IDKDの目標は、ノード間のデータ分散を均質化することです。 このようなデータの均質化は、プライバシを犠牲にするノード間でデータを交換することで達成できるが、IDKDは、プライバシ制約を破ることなく、ノード間で共通の公開データセットを使用して同じ目的を達成する。 このパブリックデータセットはトレーニングデータセットと異なり、各ノードから知識を抽出し、生成されたラベルを通じて隣人に通信するために使用される。 従来の知識蒸留では、すべての公開データセットが局所データセットと類似性に関係なく使用されるため、蒸留モデルの一般化が減少する。 そこで我々は,各ノードにout-of-distribution(ood)検出器を導入し,ローカルトレーニングデータ分布に近いパブリックデータセットのサブセットをラベル付けする。 最後に、これらのサブセットに対応するラベルのみをノード間で交換し、各ノードの平均的なラベルをこれらのデータサブセットとそのローカルデータに微調整する。 複数の画像分類データセットとグラフトポロジを用いた実験により,提案手法は従来の知識蒸留法よりも有効であり,通信オーバーヘッドを最小限に抑えた異種分散データに対する最先端の一般化性能を実現する。

関連論文リスト

• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• SplitGNN: Splitting GNN for Node Classification with Heterogeneous Attention [29.307331758493323]
  グラフ計算のための分割学習型グラフニューラルネットワーク(SplitGNN)を提案する。 我々のSplitGNNは、孤立した異種地区を協調的に利用できるようにする。 2つの標準公開データセットと実世界のデータセットのノード分類タスクにおけるSplitGNNの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-27T12:08:44Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions [5.340730281227837]
  現在の最先端の分散アルゴリズムは、主にデータ分散が独立的で、明確に分散していると仮定している。 textitNeighborhood Gradient Clustering (NGC) は,各エージェントの局所勾配を自己および横断的情報を用いて修正する,分散学習アルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-28T19:28:54Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• DeHIN: A Decentralized Framework for Embedding Large-scale Heterogeneous Information Networks [64.62314068155997]
  本稿では,異種情報ネットワーク(DeHIN)のための分散埋め込みフレームワークについて述べる。 DeHINは、大きなHINをハイパーグラフとして革新的に定式化するコンテキスト保存分割機構を提供する。 当社のフレームワークでは,木のようなパイプラインを採用することで,効率よくHINを分割する分散戦略を採用しています。
  論文  参考訳（メタデータ） (2022-01-08T04:08:36Z)
• Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
  既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。 グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。 しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。 我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:09:53Z)
• Two-Bit Aggregation for Communication Efficient and Differentially Private Federated Learning [79.66767935077925]
  フェデレートラーニング(FL)では、機械学習モデルは、データをローカルに保ち、他のノードと共有しない状態で、複数のノードで分散的にトレーニングされる。 ノードからサーバに送信された情報は、各ノードのローカルデータの詳細を明らかにする可能性があるため、プライバシー上の懸念が生じる。 差分プライバシーを保証し、アップリンク通信オーバーヘッドを低減した2ビットアグリゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-06T19:03:58Z)
• OCTOPUS: Overcoming Performance andPrivatization Bottlenecks in Distributed Learning [16.98452728773235]
  フェデレーションラーニングは、分散参加者がデータをローカルに保持しながら、共通共有モデルを共同学習することを可能にする。 遅延圧縮による通信オーバーヘッドに対処するための,新たな分散学習方式を提案する。 コンパクトな潜在表現の下流タスクは集中学習に匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2021-05-03T02:24:53Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。