論文の概要: Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach

• arxiv url: http://arxiv.org/abs/2001.03836v4
• Date: Sat, 28 Mar 2020 15:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 05:08:29.708715
• Title: Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach
• Title（参考訳）: プライベートおよびコミュニケーション効率のよいエッジ学習: 疎微分ガウス型分散SGDアプローチ
• Authors: Xin Zhang, Minghong Fang, Jia Liu, and Zhengyuan Zhu
• Abstract要約: 分散エッジ学習のための分散勾配法を提案する。 本研究では,SDM-DSGDが2桁のオーダーで基本的トレーニング・プライバシトレードオフを改善することを示す。
• 参考スコア（独自算出の注目度）: 11.876314605344405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With rise of machine learning (ML) and the proliferation of smart mobile devices, recent years have witnessed a surge of interest in performing ML in wireless edge networks. In this paper, we consider the problem of jointly improving data privacy and communication efficiency of distributed edge learning, both of which are critical performance metrics in wireless edge network computing. Toward this end, we propose a new decentralized stochastic gradient method with sparse differential Gaussian-masked stochastic gradients (SDM-DSGD) for non-convex distributed edge learning. Our main contributions are three-fold: i) We theoretically establish the privacy and communication efficiency performance guarantee of our SDM-DSGD method, which outperforms all existing works; ii) We show that SDM-DSGD improves the fundamental training-privacy trade-off by {\em two orders of magnitude} compared with the state-of-the-art. iii) We reveal theoretical insights and offer practical design guidelines for the interactions between privacy preservation and communication efficiency, two conflicting performance goals. We conduct extensive experiments with a variety of learning models on MNIST and CIFAR-10 datasets to verify our theoretical findings. Collectively, our results contribute to the theory and algorithm design for distributed edge learning.
• Abstract（参考訳）: 機械学習(ML)の台頭とスマートモバイルデバイスの普及により、近年、無線エッジネットワークにおけるMLの実行に対する関心が高まっている。 本稿では,分散エッジ学習におけるデータプライバシと通信効率を協調的に向上する問題について考察する。 そこで本研究では,非凸分散エッジ学習のための分散ガウスマッシュ確率勾配(sdm-dsgd)を用いた分散確率勾配法を提案する。 私たちの主な貢献は3倍です。 一 理論上は、SDM-DSGD方式のプライバシー及び通信効率性能を保証し、既存のすべての業務を上回ります。 ii)SDM-DSGDは,最先端技術と比較して,2桁の規模で基本的トレーニング・プライバシトレードオフを改善していることを示す。 iii) プライバシ保護と通信効率の相互関係について, 理論的知見を明らかにし, 実用的な設計指針を提供する。 我々は,MNISTおよびCIFAR-10データセット上で,様々な学習モデルを用いた広範囲な実験を行い,理論的な結果を検証する。 本結果は,分散エッジ学習における理論とアルゴリズム設計に寄与する。

関連論文リスト

• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Distributed Learning for Wi-Fi AP Load Prediction [1.2057886807886689]
  分散学習の2つの基礎、すなわちフェデレートラーニング(FL)と知識蒸留(KD)の適用について検討する。 分散学習により、予測精度を最大93%向上し、通信オーバーヘッドとエネルギーコストを80%削減できることを示す。
  論文  参考訳（メタデータ） (2024-04-22T16:37:35Z)
• An Empirical Study of Efficiency and Privacy of Federated Learning Algorithms [2.994794762377111]
  今日の世界では、IoTネットワークの急速な拡大とスマートデバイスの普及により、相当量の異種データが生成される。 このデータを効果的に扱うためには、プライバシーと効率の両立を保証するために高度なデータ処理技術が必要である。 フェデレーション学習は、モデルをローカルにトレーニングし、データをプライバシを保存するためにサーバに集約する分散学習手法として登場した。
  論文  参考訳（メタデータ） (2023-12-24T00:13:41Z)
• Cross-head mutual Mean-Teaching for semi-supervised medical image segmentation [6.738522094694818]
  SSMIS(Semi-supervised Medical Image segmentation)は、限られたラベル付きデータと豊富なラベルなしデータを活用することで、大幅な進歩を目撃している。 既存のSOTA(State-of-the-art)手法は、ラベルなしデータのラベルを正確に予測する際の課題に直面する。 強弱データ拡張を組み込んだ新しいクロスヘッド相互学習ネットワーク(CMMT-Net)を提案する。
  論文  参考訳（メタデータ） (2023-10-08T09:13:04Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
  フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。 本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。 効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-20T03:06:08Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [14.269800282001464]
  フェデレーションエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおいて、大きな通信遅延を低減する効果的なアプローチとして登場した。 FEELの新しい枠組み、すなわち半分散型フェデレーションエッジラーニング(SD-FEEL)について検討する。 異なるエッジクラスタにまたがるモデルアグリゲーションを可能にすることで、SD-FEELはトレーニングのレイテンシを低減できるFEELのメリットを享受できる。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。