論文の概要: Federated Two-stage Learning with Sign-based Voting

• arxiv url: http://arxiv.org/abs/2112.05687v1
• Date: Fri, 10 Dec 2021 17:31:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 15:52:43.108235
• Title: Federated Two-stage Learning with Sign-based Voting
• Title（参考訳）: サインベース投票によるフェデレーション2段階学習
• Authors: Zichen Ma, Zihan Lu, Yu Lu, Wenye Li, Jinfeng Yi, Shuguang Cui
• Abstract要約: フェデレートラーニング(Federated Learning)は、ローカルデバイスが共同で共有グローバルモデルをトレーニングする分散機械学習メカニズムである。 最近の大規模でより深い機械学習モデルもまた、連合した環境にそれらをデプロイする上でさらに困難を伴っている。 本稿では,デバイス上のカット層を用いて,原型的フェデレーション学習を増強する2段階学習フレームワークを設計する。
• 参考スコア（独自算出の注目度）: 45.2715985913761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed machine learning mechanism where local devices collaboratively train a shared global model under the orchestration of a central server, while keeping all private data decentralized. In the system, model parameters and its updates are transmitted instead of raw data, and thus the communication bottleneck has become a key challenge. Besides, recent larger and deeper machine learning models also pose more difficulties in deploying them in a federated environment. In this paper, we design a federated two-stage learning framework that augments prototypical federated learning with a cut layer on devices and uses sign-based stochastic gradient descent with the majority vote method on model updates. Cut layer on devices learns informative and low-dimension representations of raw data locally, which helps reduce global model parameters and prevents data leakage. Sign-based SGD with the majority vote method for model updates also helps alleviate communication limitations. Empirically, we show that our system is an efficient and privacy preserving federated learning scheme and suits for general application scenarios.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、ローカルデバイスが中央サーバのオーケストレーションの下で共有グローバルモデルを共同でトレーニングし、すべてのプライベートデータを分散化する分散機械学習メカニズムである。 システムでは、モデルパラメータとその更新が生データの代わりに送信されるため、通信ボトルネックが重要な課題となっている。 さらに、最近の大規模でより深い機械学習モデルでは、フェデレーション環境でのデプロイがさらに困難になる。 本稿では,デバイス上にカット層を設け,モデル更新に多数決の投票方式を付加した,手話に基づく確率的勾配降下を用いる2段階学習フレームワークを考案する。 デバイス上のカットレイヤは、生データの情報的および低次元表現をローカルに学習することで、グローバルモデルパラメータの削減とデータ漏洩の防止に役立つ。 モデル更新の多数投票方式を持つ署名ベースのSGDも、通信制限を軽減するのに役立つ。 経験的に、本システムは効率良く、プライバシーを保った連合学習方式であり、一般的なアプリケーションシナリオに適していることを示す。

関連論文リスト

• Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
  フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。 FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
  論文  参考訳（メタデータ） (2024-10-21T06:43:04Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning via Plurality Vote [38.778944321534084]
  フェデレートされた学習は、データプライバシを保持しながら、共同作業者が機械学習の問題を解決することを可能にする。 最近の研究は、連合学習における様々な課題に取り組んできた。 複数の投票によるフェデレーション学習(FedVote)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T18:16:22Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。