Fugu-MT 論文翻訳(概要): L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning

論文の概要: L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning

arxiv url: http://arxiv.org/abs/2307.07393v1
Date: Fri, 14 Jul 2023 15:07:30 GMT
ステータス: 処理完了
システム内更新日: 2023-07-17 13:32:55.264349
Title: L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning
Title（参考訳）: L-DAWA:Federated Self-Supervised Visual Representation Learningにおけるレイヤーワイド・ダイバージェンス・アウェアウェイト・アグリゲーション
Authors: Yasar Abbas Ur Rehman, Yan Gao, Pedro Porto Buarque de Gusm\~ao, Mina Alibeigi, Jiajun Shen, Nicholas D. Lane
Abstract要約: 自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
参考スコア（独自算出の注目度）: 14.888569402903562
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ubiquity of camera-enabled devices has led to large amounts of unlabeled image data being produced at the edge. The integration of self-supervised learning (SSL) and federated learning (FL) into one coherent system can potentially offer data privacy guarantees while also advancing the quality and robustness of the learned visual representations without needing to move data around. However, client bias and divergence during FL aggregation caused by data heterogeneity limits the performance of learned visual representations on downstream tasks. In this paper, we propose a new aggregation strategy termed Layer-wise Divergence Aware Weight Aggregation (L-DAWA) to mitigate the influence of client bias and divergence during FL aggregation. The proposed method aggregates weights at the layer-level according to the measure of angular divergence between the clients' model and the global model. Extensive experiments with cross-silo and cross-device settings on CIFAR-10/100 and Tiny ImageNet datasets demonstrate that our methods are effective and obtain new SOTA performance on both contrastive and non-contrastive SSL approaches.
Abstract（参考訳）: カメラ搭載デバイスの普及により、エッジで大量のラベルなしの画像データが生成されるようになった。自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することで、データのプライバシーを保証すると同時に、データを移動することなく、学習された視覚表現の品質と堅牢性を向上させることが可能になる。しかし、データの不均一性によるFLアグリゲーション時のクライアントバイアスとばらつきにより、下流タスクにおける学習された視覚表現の性能が制限される。本稿では,flアグリゲーション中のクライアントバイアスと発散の影響を軽減するために,層別発散認識重みアグリゲーション(l-dawa)と呼ばれる新しいアグリゲーション戦略を提案する。提案手法は,クライアントモデルとグローバルモデルとの角偏差の測定値に基づいて,層レベルで重みを集約する。 CIFAR-10/100およびTiny ImageNetデータセット上でのクロスサイロおよびクロスデバイス設定による広範囲な実験により、我々の手法が有効であり、対照的かつ非対照的なSSLアプローチにおいて新しいSOTA性能が得られることを示した。

関連論文リスト

CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
論文参考訳（メタデータ） (2024-07-17T03:17:53Z)
Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
論文参考訳（メタデータ） (2024-05-22T20:59:18Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
SwiMDiff: Scene-wide Matching Contrastive Learning with Diffusion Constraint for Remote Sensing Image [21.596874679058327]
SwiMDiffは、リモートセンシング画像のための新しい自己教師付き事前トレーニングフレームワークである。ラベルを再分類し、同じシーンからのデータを偽陰性として認識する。対照的学習(CL)と拡散モデルとをシームレスに統合する。
論文参考訳（メタデータ） (2024-01-10T11:55:58Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
論文参考訳（メタデータ） (2023-02-18T13:25:04Z)
Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文参考訳（メタデータ） (2022-04-14T22:58:30Z)
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文参考訳（メタデータ） (2022-01-25T04:43:29Z)
Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
論文参考訳（メタデータ） (2022-01-03T16:49:33Z)
Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。