論文の概要: A Theoretical Perspective on Differentially Private Federated Multi-task Learning

• arxiv url: http://arxiv.org/abs/2011.07179v1
• Date: Sat, 14 Nov 2020 00:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 14:02:27.632388
• Title: A Theoretical Perspective on Differentially Private Federated Multi-task Learning
• Title（参考訳）: 微分プライベートフェデレーション型マルチタスク学習の理論的展望
• Authors: Huiwen Wu and Cen Chen and Li Wang
• Abstract要約: プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
• 参考スコア（独自算出の注目度）: 12.935153199667987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of big data, the need to expand the amount of data through data sharing to improve model performance has become increasingly compelling. As a result, effective collaborative learning models need to be developed with respect to both privacy and utility concerns. In this work, we propose a new federated multi-task learning method for effective parameter transfer with differential privacy to protect gradients at the client level. Specifically, the lower layers of the networks are shared across all clients to capture transferable feature representation, while top layers of the network are task-specific for on-client personalization. Our proposed algorithm naturally resolves the statistical heterogeneity problem in federated networks. We are, to the best of knowledge, the first to provide both privacy and utility guarantees for such a proposed federated algorithm. The convergences are proved for the cases with Lipschitz smooth objective functions under the non-convex, convex, and strongly convex settings. Empirical experiment results on different datasets have been conducted to demonstrate the effectiveness of the proposed algorithm and verify the implications of the theoretical findings.
• Abstract（参考訳）: ビッグデータの時代には、データ共有を通じてデータ量を拡大してモデルのパフォーマンスを向上させる必要性がますます高まっている。 その結果,プライバシとユーティリティの両方に関して,効果的な協調学習モデルの開発が求められる。 本研究では,クライアントレベルでの勾配を保護するために,差分プライバシを用いた効果的なパラメータ転送のための多タスク学習手法を提案する。 具体的には、ネットワークの下位層は転送可能な特徴表現をキャプチャするために全クライアント間で共有され、上位層はクライアント上でのパーソナライズのためのタスク固有である。 提案アルゴリズムは,フェデレートネットワークにおける統計的不均一性問題を自然に解決する。 私たちは、知識を最大限に活用するために、このようなフェデレーションアルゴリズムに対して、プライバシとユーティリティの両保証を最初に提供しています。 この収束は、非凸、凸、強い凸設定の下でのリプシッツ滑らかな客観的関数の場合で証明される。 提案アルゴリズムの有効性を実証し, 理論的結果の影響を検証するために, 異なるデータセットの実証実験を行った。

関連論文リスト

• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。