Fugu-MT 論文翻訳(概要): FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning

論文の概要: FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning

arxiv url: http://arxiv.org/abs/2004.03657v2
Date: Sun, 27 Dec 2020 19:57:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-15 23:13:21.673393
Title: FedMAX: Mitigating Activation Divergence for Accurate and Communication-Efficient Federated Learning
Title（参考訳）: FedMAX: 正確なコミュニケーション効率の高いフェデレーション学習のための活性化の多様性の軽減
Authors: Wei Chen, Kartikeya Bhardwaj, Radu Marculescu
Abstract要約: フェデレートラーニングにおけるアクティベーションベクトルは,ユーザのサブセットがいくつかの共通クラスを共有して,異なるデバイスにデータを置く場合であっても,ばらばらになる可能性がある,と我々は主張する。活性化分割問題に対処するために,最大エントロピーの原理に基づく先行問題を導入する。 IIDと非IID設定の両方において,提案手法により精度が向上した。
参考スコア（独自算出の注目度）: 20.273836530269577
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we identify a new phenomenon called activation-divergence which occurs in Federated Learning (FL) due to data heterogeneity (i.e., data being non-IID) across multiple users. Specifically, we argue that the activation vectors in FL can diverge, even if subsets of users share a few common classes with data residing on different devices. To address the activation-divergence issue, we introduce a prior based on the principle of maximum entropy; this prior assumes minimal information about the per-device activation vectors and aims at making the activation vectors of same classes as similar as possible across multiple devices. Our results show that, for both IID and non-IID settings, our proposed approach results in better accuracy (due to the significantly more similar activation vectors across multiple devices), and is more communication-efficient than state-of-the-art approaches in FL. Finally, we illustrate the effectiveness of our approach on a few common benchmarks and two large medical datasets.
Abstract（参考訳）: 本稿では,複数ユーザ間のデータ不均一性(非iidデータ)により,連合学習(fl)で発生するアクティベーション・ダイバージェンスと呼ばれる新たな現象を明らかにする。具体的には、ユーザのサブセットがいくつかの共通クラスを共有し、異なるデバイス上のデータを共有する場合であっても、FLのアクティベーションベクトルはばらばらになる可能性があると論じる。本稿では,各デバイス毎のアクティベーションベクトルについて最小限の情報を前提として,複数のデバイスで可能な限り同一クラスのアクティベーションベクトルを作成することを目的とした,最大エントロピーの原理に基づく事前提案を行う。提案手法は,IIDおよび非IID設定の両方において,複数のデバイス間でのアクティベーションベクトルが著しく類似しているため,精度が向上し,FLの最先端手法よりも通信効率がよいことを示す。最後に、いくつかの共通ベンチマークと2つの大規模医療データセットにおいて、このアプローチの有効性を示す。

関連論文リスト

Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-24T09:09:20Z)
Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
拡散モデルは当初、画像生成のために設計されている。近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
論文参考訳（メタデータ） (2024-10-04T16:05:14Z)
DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文参考訳（メタデータ） (2023-04-01T08:06:43Z)
Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文参考訳（メタデータ） (2023-02-13T18:42:17Z)
The Overlooked Classifier in Human-Object Interaction Recognition [82.20671129356037]
クラス間の意味的相関を分類ヘッドにエンコードし,重みをHOIの言語埋め込みで初期化する。我々は,LSE-Sign という新しい損失を,長い尾を持つデータセット上でのマルチラベル学習を強化するために提案する。我々は,物体検出と人間のポーズを明確なマージンで求める最先端技術よりも優れた,検出不要なHOI分類を可能にする。
論文参考訳（メタデータ） (2022-03-10T23:35:00Z)
Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。 Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文参考訳（メタデータ） (2021-04-14T22:59:08Z)
Invariant Feature Learning for Sensor-based Human Activity Recognition [11.334750079923428]
被験者やデバイス間で共有される共通情報を抽出する不変特徴学習フレームワーク(IFLF)を提案する。実験により、IFLFは、一般的なオープンデータセットと社内データセットをまたいだ主題とデバイスディバージョンの両方を扱うのに効果的であることが示された。
論文参考訳（メタデータ） (2020-12-14T21:56:17Z)
Federated Learning with Heterogeneous Labels and Models for Mobile Activity Monitoring [0.7106986689736827]
デバイス上でのフェデレーション学習は、分散的で協調的な機械学習に効果的なアプローチであることが証明されている。本稿では,複数の活動にまたがる重なり合う情報ゲインを利用したラベルに基づくアグリゲーションのためのフレームワークを提案する。 Raspberry Pi 2上のHeterogeneity Human Activity Recognition (HHAR)データセットによる経験的評価は、決定論的精度が少なくとも11.01%向上したことを示している。
論文参考訳（メタデータ） (2020-12-04T11:44:17Z)
Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks [13.64024154785943]
本稿では,逐次的にラベル付けされたマルチアクティビティ認識と位置情報タスクを処理するために,RAN(Recurrent attention network)を提案する。我々のRANモデルは、粗粒度シーケンシャルな弱いラベルからマルチアクティビティータイプを同時に推測することができる。手動ラベリングの負担を大幅に軽減する。
論文参考訳（メタデータ） (2020-04-13T04:57:09Z)
Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data [31.85853956347045]
オンデバイス機械学習(ML)により、トレーニングプロセスは大量のユーザ生成プライベートデータサンプルを利用することができる。分散モデル学習アルゴリズムであるフェデレート蒸留(FD)を提案する。 FAug を用いた FD は FL と比較して 95-98% の精度で通信オーバヘッドの約26倍の低下を示した。
論文参考訳（メタデータ） (2018-11-28T10:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。