論文の概要: DistDD: Distributed Data Distillation Aggregation through Gradient Matching

• arxiv url: http://arxiv.org/abs/2410.08665v1
• Date: Fri, 11 Oct 2024 09:43:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 22:35:13.007173
• Title: DistDD: Distributed Data Distillation Aggregation through Gradient Matching
• Title（参考訳）: DistDD: 勾配マッチングによる分散データ蒸留集約
• Authors: Peiran Wang, Haohan Wang,
• Abstract要約: DistDDは、クライアントのデバイスに直接データを蒸留することで、反復的なコミュニケーションの必要性を減らす、連邦学習フレームワークにおける新しいアプローチである。 本研究では,DistDDアルゴリズムの詳細な収束証明を行い,その数学的安定性と信頼性を実証する。
• 参考スコア（独自算出の注目度）: 14.132062317010847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce DistDD, a novel approach within the federated learning framework that reduces the need for repetitive communication by distilling data directly on clients' devices. Unlike traditional federated learning that requires iterative model updates across nodes, DistDD facilitates a one-time distillation process that extracts a global distilled dataset, maintaining the privacy standards of federated learning while significantly cutting down communication costs. By leveraging the DistDD's distilled dataset, the developers of the FL can achieve just-in-time parameter tuning and neural architecture search over FL without repeating the whole FL process multiple times. We provide a detailed convergence proof of the DistDD algorithm, reinforcing its mathematical stability and reliability for practical applications. Our experiments demonstrate the effectiveness and robustness of DistDD, particularly in non-i.i.d. and mislabeled data scenarios, showcasing its potential to handle complex real-world data challenges distinctively from conventional federated learning methods. We also evaluate DistDD's application in the use case and prove its effectiveness and communication-savings in the NAS use case.
• Abstract（参考訳）: 本稿では,クライアントのデバイスに直接データを蒸留することで,反復的なコミュニケーションの必要性を低減できる新しい学習フレームワークであるDistDDを紹介する。 ノード間で反復的なモデル更新を必要とする従来のフェデレーション学習とは異なり、DistDDはグローバルな蒸留データセットを抽出し、フェデレーション学習のプライバシ標準を維持しながら通信コストを大幅に削減するワンタイム蒸留プロセスを促進する。 DistDDの蒸留データセットを活用することで、FLの開発者は、FLプロセス全体を何度も繰り返すことなく、ジャスト・イン・タイムのパラメータチューニングと、FL上のニューラルアーキテクチャ検索を実現できる。 本研究では,DistDDアルゴリズムの詳細な収束証明を行い,その数学的安定性と信頼性を実証する。 本実験は,DistDDの有効性とロバスト性を実証するものであり,特に非I.D.および誤ラベルデータシナリオにおいて,従来のフェデレート学習法と異なる複雑な実世界のデータ課題に対処する可能性を示している。 また,実例におけるDistDDの適用性を評価し,NAS使用例におけるその有効性とコミュニケーションの省力化を実証した。

関連論文リスト

• Federated Learning with Partially Labeled Data: A Conditional Distillation Approach [6.539281169155941]
  本稿では,条件付き蒸留を取り入れた新しいFLフレームワークであるConDistFLを提案する。 ConDistFLは、部分的にラベル付けされたデータセットから効果的な学習を可能にし、分散データセットと非一様データセットのセグメンテーション精度を大幅に改善する。 より優れたセグメンテーション性能に加えて、ConDistFLは計算と通信の効率を維持し、現実世界のアプリケーションにそのスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2024-12-25T08:40:03Z)
• Going Beyond Feature Similarity: Effective Dataset distillation based on Class-aware Conditional Mutual Information [43.44508080585033]
  本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。 合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
  論文  参考訳（メタデータ） (2024-12-13T08:10:47Z)
• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• Communication-Efficient Distributed Deep Learning via Federated Dynamic Averaging [1.4748100900619232]
  Federated Dynamic Averaging (FDA)は通信効率の良いDDL戦略である。 FDAは従来のアルゴリズムと最先端のアルゴリズムと比較して、通信コストを桁違いに削減している。
  論文  参考訳（メタデータ） (2024-05-31T16:34:11Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications [22.107854601448906]
  フェデレートラーニング(FL)はモノのインターネット(IoT)設計で人気を博している。 IoTデバイスによって収集されたデータが非独立かつ同一に分散された(非IID)方法でスキューされると、バニラFL法の精度が保証されない。 本稿では,非IIDデータのトレーニングにおいて,重み分散のデメリットを効果的に低減できる新しいデータベースデバイスグループ化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-29T06:49:08Z)
• Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
  我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。 具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
  論文  参考訳（メタデータ） (2020-07-07T04:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。