論文の概要: Towards Diverse Device Heterogeneous Federated Learning via Task Arithmetic Knowledge Integration

• arxiv url: http://arxiv.org/abs/2409.18461v1
• Date: Fri, 27 Sep 2024 05:49:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 06:11:53.070596
• Title: Towards Diverse Device Heterogeneous Federated Learning via Task Arithmetic Knowledge Integration
• Title（参考訳）: タスク算術的知識統合による多様なデバイス不均一なフェデレーション学習に向けて
• Authors: Mahdi Morafah, Vyacheslav Kungurtsev, Hojin Chang, Chen Chen, Bill Lin,
• Abstract要約: フェデレートラーニング(Federated Learning)は、ユーザのデータプライバシを保護しながら、コラボレーション機械学習のための有望なパラダイムとして登場した。 標準FLは多種多様な異種デバイスプロトタイプをサポートしておらず、モデルやデータセットのサイズは様々である。 KDベースの新しいフレームワークであるTAKFLを導入し、各デバイスプロトタイプのアンサンブルからの知識伝達を個別のタスクとして扱う。
• 参考スコア（独自算出の注目度）: 8.276642383222548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning has emerged as a promising paradigm for collaborative machine learning, while preserving user data privacy. Despite its potential, standard FL lacks support for diverse heterogeneous device prototypes, which vary significantly in model and dataset sizes -- from small IoT devices to large workstations. This limitation is only partially addressed by existing knowledge distillation techniques, which often fail to transfer knowledge effectively across a broad spectrum of device prototypes with varied capabilities. This failure primarily stems from two issues: the dilution of informative logits from more capable devices by those from less capable ones, and the use of a single integrated logits as the distillation target across all devices, which neglects their individual learning capacities and and the unique contributions of each. To address these challenges, we introduce TAKFL, a novel KD-based framework that treats the knowledge transfer from each device prototype's ensemble as a separate task, independently distilling each to preserve its unique contributions and avoid dilution. TAKFL also incorporates a KD-based self-regularization technique to mitigate the issues related to the noisy and unsupervised ensemble distillation process. To integrate the separately distilled knowledge, we introduce an adaptive task arithmetic knowledge integration process, allowing each student model to customize the knowledge integration for optimal performance. Additionally, we present theoretical results demonstrating the effectiveness of task arithmetic in transferring knowledge across heterogeneous devices with varying capacities. Comprehensive evaluations of our method across both CV and NLP tasks demonstrate that TAKFL achieves SOTA results in a variety of datasets and settings, significantly outperforming existing KD-based methods. Code is released at https://github.com/MMorafah/TAKFL
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、ユーザのデータプライバシを保護しながら、コラボレーション機械学習のための有望なパラダイムとして登場した。 その可能性にもかかわらず、標準FLは、小さなIoTデバイスから大規模なワークステーションまで、モデルとデータセットサイズに大きく異なる、多様な異種デバイスのプロトタイプをサポートしていない。 この制限は、既存の知識蒸留技術によって部分的に対処されるだけであり、様々な能力を持つデバイスプロトタイプの幅広い範囲で、知識を効果的に伝達することができないことが多い。 この失敗は主に、2つの問題に起因している: より能力の低いデバイスからより有能なデバイスからの情報ロジットを希釈すること、全デバイスにわたる蒸留ターゲットとして単一の統合ロジットを使用することで、個々の学習能力とそれぞれのユニークな貢献を無視することである。 これらの課題に対処するために,各デバイスプロトタイプのアンサンブルからの知識伝達を個別のタスクとして扱う,KDベースの新しいフレームワークであるTAKFLを紹介する。 TAKFLはまた、ノイズや教師なしのアンサンブル蒸留プロセスに関連する問題を緩和するために、KDベースの自己規則化技術も取り入れている。 個別に蒸留した知識を統合するために,適応的タスク算術知識統合プロセスを導入し,各学生モデルが最適性能のために知識統合をカスタマイズできるようにする。 さらに,異種デバイス間での知識伝達におけるタスク算術の有効性を理論的に検証した。 CVタスクとNLPタスクの総合的な評価は,TAKFLが様々なデータセットや設定でSOTAを達成し,既存のKD手法よりも大幅に優れていることを示す。 コードはhttps://github.com/MMorafah/TAKFLで公開されている。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• INTELLECT: Adapting Cyber Threat Detection to Heterogeneous Computing Environments [0.055923945039144884]
  本稿では,IDSのための事前学習MLモデルと構成の動的適応のための結合パイプラインに,特徴選択,モデルプルーニング,微調整技術を統合する新しいソリューションであるINTELLECTを紹介する。 我々は,知識蒸留技術を微調整中に組み込むことの利点を実証し,MLモデルが歴史的知識を維持しつつ,局所的なネットワークパターンに一貫して適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T22:34:29Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Federated Learning for Computationally-Constrained Heterogeneous Devices: A Survey [3.219812767529503]
  フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。 現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
  論文  参考訳（メタデータ） (2023-07-18T12:05:36Z)
• Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks [10.169907307499916]
  フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。 マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。 本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。 提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2023-03-17T21:36:01Z)
• HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation [12.409497615805797]
  フェデレートラーニング(FL)は、プライバシ保護の分散機械学習パラダイムとして認識されている。 FLは、AIoTデバイスのモデル不均一性により、モデル不正確性と緩やかな収束に悩まされる。 我々は、少数の公開データを効率よくスケーラブルな知識に利用する、HierarchyFLという効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T03:32:10Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。