Fugu-MT 論文翻訳(概要): DistDD: Distributed Data Distillation Aggregation through Gradient Matching

論文の概要: DistDD: Distributed Data Distillation Aggregation through Gradient Matching

arxiv url: http://arxiv.org/abs/2410.08665v1
Date: Fri, 11 Oct 2024 09:43:35 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 22:35:13.007173
Title: DistDD: Distributed Data Distillation Aggregation through Gradient Matching
Title（参考訳）: DistDD: 勾配マッチングによる分散データ蒸留集約
Authors: Peiran Wang, Haohan Wang,
Abstract要約: DistDDは、クライアントのデバイスに直接データを蒸留することで、反復的なコミュニケーションの必要性を減らす、連邦学習フレームワークにおける新しいアプローチである。本研究では,DistDDアルゴリズムの詳細な収束証明を行い,その数学的安定性と信頼性を実証する。
参考スコア（独自算出の注目度）: 14.132062317010847
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce DistDD, a novel approach within the federated learning framework that reduces the need for repetitive communication by distilling data directly on clients' devices. Unlike traditional federated learning that requires iterative model updates across nodes, DistDD facilitates a one-time distillation process that extracts a global distilled dataset, maintaining the privacy standards of federated learning while significantly cutting down communication costs. By leveraging the DistDD's distilled dataset, the developers of the FL can achieve just-in-time parameter tuning and neural architecture search over FL without repeating the whole FL process multiple times. We provide a detailed convergence proof of the DistDD algorithm, reinforcing its mathematical stability and reliability for practical applications. Our experiments demonstrate the effectiveness and robustness of DistDD, particularly in non-i.i.d. and mislabeled data scenarios, showcasing its potential to handle complex real-world data challenges distinctively from conventional federated learning methods. We also evaluate DistDD's application in the use case and prove its effectiveness and communication-savings in the NAS use case.
Abstract（参考訳）: 本稿では,クライアントのデバイスに直接データを蒸留することで,反復的なコミュニケーションの必要性を低減できる新しい学習フレームワークであるDistDDを紹介する。ノード間で反復的なモデル更新を必要とする従来のフェデレーション学習とは異なり、DistDDはグローバルな蒸留データセットを抽出し、フェデレーション学習のプライバシ標準を維持しながら通信コストを大幅に削減するワンタイム蒸留プロセスを促進する。 DistDDの蒸留データセットを活用することで、FLの開発者は、FLプロセス全体を何度も繰り返すことなく、ジャスト・イン・タイムのパラメータチューニングと、FL上のニューラルアーキテクチャ検索を実現できる。本研究では,DistDDアルゴリズムの詳細な収束証明を行い,その数学的安定性と信頼性を実証する。本実験は,DistDDの有効性とロバスト性を実証するものであり,特に非I.D.および誤ラベルデータシナリオにおいて,従来のフェデレート学習法と異なる複雑な実世界のデータ課題に対処する可能性を示している。また,実例におけるDistDDの適用性を評価し,NAS使用例におけるその有効性とコミュニケーションの省力化を実証した。

関連論文リスト

Dataset Distillation from First Principles: Integrating Core Information Extraction and Purposeful Learning [10.116674195405126]
我々は、基礎となる最適化問題の正確な特徴付けは、関心の応用に関連する推論タスクを指定しなければならないと論じる。我々の形式化は、様々なモデリング環境にまたがるDDの新たな応用を明らかにします。現代の環境において重要な2つのケーススタディについて数値的な結果を示す。
論文参考訳（メタデータ） (2024-09-02T18:11:15Z)
FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
論文参考訳（メタデータ） (2024-03-25T16:49:38Z)
PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文参考訳（メタデータ） (2023-10-18T02:59:57Z)
Dataset Distillation: A Comprehensive Review [76.26276286545284]
データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。本稿ではDDの最近の進歩とその応用について概説する。
論文参考訳（メタデータ） (2023-01-17T17:03:28Z)
Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
論文参考訳（メタデータ） (2022-05-16T08:56:53Z)
FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-05-02T07:54:07Z)
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文参考訳（メタデータ） (2022-04-30T06:17:36Z)
Towards Fast and Accurate Federated Learning with non-IID Data for Cloud-Based IoT Applications [22.107854601448906]
フェデレートラーニング(FL)はモノのインターネット(IoT)設計で人気を博している。 IoTデバイスによって収集されたデータが非独立かつ同一に分散された(非IID)方法でスキューされると、バニラFL法の精度が保証されない。本稿では,非IIDデータのトレーニングにおいて,重み分散のデメリットを効果的に低減できる新しいデータベースデバイスグループ化手法を提案する。
論文参考訳（メタデータ） (2022-01-29T06:49:08Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Efficient Ring-topology Decentralized Federated Learning with Deep Generative Models for Industrial Artificial Intelligent [13.982904025739606]
深層生成モデル(dgms)のためのリングトポジ型分散連体学習方式を提案する。我々のRDFLスキームは通信効率を向上し、目標IIoTタスクにおけるDGMを向上するための訓練性能を維持する。さらに、通信効率とFLセキュリティをさらに向上するため、IPFS(InterPlanetary File System)を導入している。
論文参考訳（メタデータ） (2021-04-15T08:09:54Z)
Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文参考訳（メタデータ） (2020-07-07T04:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。