論文の概要: Rate Region for Indirect Multiterminal Source Coding in Federated Learning

• arxiv url: http://arxiv.org/abs/2101.08696v2
• Date: Tue, 26 Jan 2021 13:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 08:02:12.566460
• Title: Rate Region for Indirect Multiterminal Source Coding in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおける間接的マルチ端末源符号化のレート領域
• Authors: Naifu Zhang, Meixia Tao and Jia Wang
• Abstract要約: 多数のエッジデバイスは、ローカルモデルの各ラウンドでアップデートをエッジに送信します。 既存の作品は、異なるエッジによって送信される情報の焦点を活用しない。 本稿では,間接多端音源符号化 fl のレート領域について検討する。
• 参考スコア（独自算出の注目度）: 49.574683687858126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the main focus in federated learning (FL) is the communication efficiency since a large number of participating edge devices send their updates to the edge server at each round of the model training. Existing works reconstruct each model update from edge devices and implicitly assume that the local model updates are independent over edge device. In FL, however, the model update is an indirect multi-terminal source coding problem where each edge device cannot observe directly the source that is to be reconstructed at the decoder, but is rather provided only with a noisy version. The existing works do not leverage the redundancy in the information transmitted by different edges. This paper studies the rate region for the indirect multiterminal source coding problem in FL. The goal is to obtain the minimum achievable rate at a particular upper bound of gradient variance. We obtain the rate region for multiple edge devices in general case and derive an explicit formula of the sum-rate distortion function in the special case where gradient are identical over edge device and dimension. Finally, we analysis communication efficiency of convex Mini-batched SGD and non-convex Minibatched SGD based on the sum-rate distortion function, respectively.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)では,多数のエッジデバイスがモデルトレーニングの各ラウンドのエッジサーバに更新を送信するため,通信効率が重視される。 既存の作業は、エッジデバイスから各モデルの更新を再構築し、ローカルモデルの更新がエッジデバイス上で独立していることを暗黙的に仮定する。 しかしflでは、モデル更新は間接的なマルチターミナルソース符号化問題であり、各エッジデバイスはデコーダで再構成されるソースを直接観察することはできないが、ノイズの多いバージョンのみを提供する。 既存の作品は異なるエッジによって送信される情報の冗長性を利用しない。 本稿では,FLにおける間接的マルチ端末ソース符号化問題に対するレート領域について検討する。 目標は、勾配分散の特定の上限における最小到達率を得ることである。 一般の場合において複数のエッジデバイスに対するレート領域を求め、エッジデバイスとディメンジョンの勾配が同一である特別な場合において、サムレート歪み関数の明示的な公式を導出する。 最後に, コンベックスミニバッチsgdと非コンベックスミニバッチsgdの通信効率を, 合計レート歪関数に基づいて解析する。

関連論文リスト

• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
  クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。 学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
  論文  参考訳（メタデータ） (2024-01-30T21:46:09Z)
• DETR Doesn't Need Multi-Scale or Locality Design [69.56292005230185]
  本稿では,"プレーン"特性を維持できる改良型DETR検出器を提案する。 特定の局所性制約を伴わずに、単一スケールの機能マップとグローバルなクロスアテンション計算を使用する。 マルチスケールな特徴マップと局所性制約の欠如を補うために,2つの単純な技術が平易な設計において驚くほど効果的であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T17:59:04Z)
• DPCN++: Differentiable Phase Correlation Network for Versatile Pose Registration [18.60311260250232]
  本稿では,世界規模で収束し,対応のない位相相関解法を提案する。 DCPN++は,2次元鳥眼視画像,3次元物体・シーン計測,医用画像など,入力モードが異なる幅広い登録タスクで評価される。
  論文  参考訳（メタデータ） (2022-06-12T10:00:34Z)
• Multi-task Federated Edge Learning (MtFEEL) in Wireless Networks [1.9250873974729816]
  フェデレートラーニング(FL)は、エッジデバイス間の分散機械学習を扱うための有望な技術として進化してきた。 保証付き無線環境でのパーソナライズドラーニングのための通信効率の良いFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:54:38Z)
• Adaptive Dynamic Pruning for Non-IID Federated Learning [3.8666113275834335]
  フェデレートラーニング(FL)は、データセキュリティとプライバシを犠牲にすることなく機械学習モデルをトレーニングする新たなパラダイムとして登場した。 FLシステムにおけるエッジデバイスに対する適応型プルーニング方式を提案し,非IIDデータセットの推論高速化にデータセット対応動的プルーニングを適用した。
  論文  参考訳（メタデータ） (2021-06-13T05:27:43Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。