Fugu-MT 論文翻訳(概要): Prototype Guided Federated Learning of Visual Feature Representations

論文の概要: Prototype Guided Federated Learning of Visual Feature Representations

arxiv url: http://arxiv.org/abs/2105.08982v1
Date: Wed, 19 May 2021 08:29:12 GMT
ステータス: 処理完了
システム内更新日: 2021-05-20 13:58:31.172168
Title: Prototype Guided Federated Learning of Visual Feature Representations
Title（参考訳）: 視覚特徴表現のプロトタイプ指導型フェデレーション学習
Authors: Umberto Michieli and Mete Ozay
Abstract要約: Federated Learning(FL)は、分散モデルトレーニングを可能にするフレームワークである。既存の手法は、内部表現を無視したモデルを集約する。我々は、分散データ上で学習した表現のマージンを用いてクライアントの偏差を計算するFedProtoを紹介する。
参考スコア（独自算出の注目度）: 15.021124010665194
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated Learning (FL) is a framework which enables distributed model training using a large corpus of decentralized training data. Existing methods aggregate models disregarding their internal representations, which are crucial for training models in vision tasks. System and statistical heterogeneity (e.g., highly imbalanced and non-i.i.d. data) further harm model training. To this end, we introduce a method, called FedProto, which computes client deviations using margins of prototypical representations learned on distributed data, and applies them to drive federated optimization via an attention mechanism. In addition, we propose three methods to analyse statistical properties of feature representations learned in FL, in order to elucidate the relationship between accuracy, margins and feature discrepancy of FL models. In experimental analyses, FedProto demonstrates state-of-the-art accuracy and convergence rate across image classification and semantic segmentation benchmarks by enabling maximum margin training of FL models. Moreover, FedProto reduces uncertainty of predictions of FL models compared to the baseline. To our knowledge, this is the first work evaluating FL models in dense prediction tasks, such as semantic segmentation.
Abstract（参考訳）: フェデレーション学習(federated learning、fl)は、分散トレーニングデータの大規模なコーパスを使用して、分散モデルのトレーニングを可能にするフレームワークである。既存の手法では、内部表現を無視したモデルを集約する。システムと統計的不均一性(例えば、高度不均衡と非i.d.) データ) さらにモデルトレーニングを害しますこの目的のために,FedProtoと呼ばれる手法を導入し,分散データ上で学習したプロトタイプ表現のマージンを用いてクライアントの偏差を計算し,アテンション機構によるフェデレーション最適化に応用する。さらに,flで学習した特徴表現の統計的性質を解析し,flモデルの精度,マージン,特徴差の関係を明らかにするための3つの手法を提案する。 FedProtoは、FLモデルの最大マージントレーニングを可能にすることにより、画像分類とセマンティックセグメンテーションベンチマーク間の最先端の精度と収束率を示す。さらに、FedProtoはベースラインと比較してFLモデルの予測の不確実性を低減する。我々の知る限り、セマンティックセグメンテーションのような密集予測タスクにおけるFLモデルの評価はこれが初めてである。

関連論文リスト

On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文参考訳（メタデータ） (2024-07-23T11:35:42Z)
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文参考訳（メタデータ） (2024-03-22T15:02:24Z)
Data-Agnostic Model Poisoning against Federated Learning: A Graph Autoencoder Approach [65.2993866461477]
本稿では,フェデレートラーニング(FL)に対するデータに依存しないモデル中毒攻撃を提案する。この攻撃はFLトレーニングデータの知識を必要とせず、有効性と検出不能の両方を達成する。実験により、FLの精度は提案した攻撃の下で徐々に低下し、既存の防御機構では検出できないことが示された。
論文参考訳（メタデータ） (2023-11-30T12:19:10Z)
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文参考訳（メタデータ） (2023-11-16T16:30:04Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文参考訳（メタデータ） (2023-09-22T17:23:01Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。 FedEraser は、フェデレーションクライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文参考訳（メタデータ） (2020-12-27T08:54:37Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。