論文の概要: Private Multi-Task Learning: Formulation and Applications to Federated Learning

• arxiv url: http://arxiv.org/abs/2108.12978v3
• Date: Tue, 17 Oct 2023 08:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 01:03:45.891097
• Title: Private Multi-Task Learning: Formulation and Applications to Federated Learning
• Title（参考訳）: プライベートマルチタスク学習:定式化と連合学習への応用
• Authors: Shengyuan Hu, Zhiwei Steven Wu, Virginia Smith
• Abstract要約: マルチタスク学習は、ヘルスケア、ファイナンス、IoTコンピューティングなどの分野において、プライバシに敏感なアプリケーションに関係している。 我々は,MTLにおけるクライアントレベルのプライバシの概念を,共同微分プライバシ(JDP),メカニズム設計と分散最適化のための微分プライバシの緩和を通じて形式化する。 そこで我々は,パーソナライズド・フェデレーション・ラーニングの応用を目的とした,平均正規化MLLのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 44.60519521554582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many problems in machine learning rely on multi-task learning (MTL), in which the goal is to solve multiple related machine learning tasks simultaneously. MTL is particularly relevant for privacy-sensitive applications in areas such as healthcare, finance, and IoT computing, where sensitive data from multiple, varied sources are shared for the purpose of learning. In this work, we formalize notions of client-level privacy for MTL via joint differential privacy (JDP), a relaxation of differential privacy for mechanism design and distributed optimization. We then propose an algorithm for mean-regularized MTL, an objective commonly used for applications in personalized federated learning, subject to JDP. We analyze our objective and solver, providing certifiable guarantees on both privacy and utility. Empirically, we find that our method provides improved privacy/utility trade-offs relative to global baselines across common federated learning benchmarks.
• Abstract（参考訳）: 機械学習における多くの問題は、複数の関連する機械学習タスクを同時に解決することを目的としているマルチタスク学習(MTL)に依存している。 MTLは、医療、金融、IoTコンピューティングなどの分野におけるプライバシに敏感なアプリケーションに特に関係している。 本研究では,MTLにおけるクライアントレベルのプライバシの概念を,共同微分プライバシー(JDP),メカニズム設計と分散最適化のための微分プライバシ緩和を通じて形式化する。 次に,JDP を対象とする個人化フェデレーション学習における応用を目的とした平均正規化 MTL のアルゴリズムを提案する。 我々は目的と解決法を分析し、プライバシーと実用性の両方について検証可能な保証を提供する。 実験により,本手法は,共通学習ベンチマーク間でのグローバルベースラインに対して,プライバシーとユーティリティのトレードオフを改善できることが判明した。

関連論文リスト

• Differentially Private Active Learning: Balancing Effective Data Selection and Privacy [11.716423801223776]
  標準学習設定のための差分プライベートアクティブラーニング(DP-AL)を導入する。 本研究では,DP-SGDトレーニングをALに統合することで,プライバシ予算の割り当てやデータ利用において大きな課題が生じることを実証する。 視覚および自然言語処理タスクに関する実験は,DP-ALが特定のデータセットやモデルアーキテクチャの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-01T09:34:06Z)
• Privacy-aware Berrut Approximated Coded Computing for Federated Learning [1.2084539012992408]
  フェデレートラーニングスキームにおけるプライバシを保証するためのソリューションを提案する。 本提案は,Secret Sharing設定に適応したBerrut Approximated Coded Computingに基づく。
  論文  参考訳（メタデータ） (2024-05-02T20:03:13Z)
• Federated Multi-Objective Learning [22.875284692358683]
  複数のクライアントを用いたFMOL(Federated Multi-Objective Learning)フレームワークを提案する。 私たちのFMOLフレームワークは、異なるクライアント間で異なる目的関数セットを提供し、幅広いアプリケーションをサポートします。 本フレームワークでは,FSMGDA (Federated Multi-gradient descent Averaging) とFSMGDA (Federated Multi-gradient descent Averaging) という2つの新しいFMOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-15T15:45:51Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Multi-Task and Transfer Learning for Federated Learning Applications [5.224306534441244]
  フェデレートされた学習により、多くの潜在的なデータ保持クライアントの分散データセットとプライベートデータセットの恩恵を受けることができる。 我々は、入力に近く、よりパーソナライズされたレイヤを出力に近づけたディープニューラルネットワークモデルをトレーニングすることを提案する。 メタラーニングに基づくフェデレーション学習が有用であることが証明された特定のシナリオを強調するためのシミュレーション結果を提供する。
  論文  参考訳（メタデータ） (2022-07-17T11:48:11Z)
• On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
  本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。 平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。 平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
  論文  参考訳（メタデータ） (2022-06-16T03:26:48Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Toward Multiple Federated Learning Services Resource Sharing in Mobile Edge Networks [88.15736037284408]
  本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。 共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。 シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
  論文  参考訳（メタデータ） (2020-11-25T01:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。