論文の概要: Communication-Efficient and Privacy-Preserving Decentralized Meta-Learning

• arxiv url: http://arxiv.org/abs/2406.13183v1
• Date: Wed, 19 Jun 2024 03:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:28:56.385552
• Title: Communication-Efficient and Privacy-Preserving Decentralized Meta-Learning
• Title（参考訳）: コミュニケーション効率とプライバシ保護による分散メタラーニング
• Authors: Hansi Yang, James T. Kwok,
• Abstract要約: 集中的な場所でトレーニングデータを収集する必要のない分散学習は、ビッグデータ時代においてますます重要になっている。 本稿では,異なるクライアントが限られた学習データで異なる(しかし関連する)タスクを実行する,より困難なメタラーニング環境について考察する。 そこで我々はLoDMeta(Local Decentralized Meta-learning)を提案する。LoDMeta(Local Decentralized Meta-learning)は局所的な最適化パラメータとランダムな摂動をモデルパラメータに用いて提案する。
• 参考スコア（独自算出の注目度）: 29.1502857196387
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Distributed learning, which does not require gathering training data in a central location, has become increasingly important in the big-data era. In particular, random-walk-based decentralized algorithms are flexible in that they do not need a central server trusted by all clients and do not require all clients to be active in all iterations. However, existing distributed learning algorithms assume that all learning clients share the same task. In this paper, we consider the more difficult meta-learning setting, in which different clients perform different (but related) tasks with limited training data. To reduce communication cost and allow better privacy protection, we propose LoDMeta (Local Decentralized Meta-learning) with the use of local auxiliary optimization parameters and random perturbations on the model parameter. Theoretical results are provided on both convergence and privacy analysis. Empirical results on a number of few-shot learning data sets demonstrate that LoDMeta has similar meta-learning accuracy as centralized meta-learning algorithms, but does not require gathering data from each client and is able to better protect data privacy for each client.
• Abstract（参考訳）: 集中的な場所でトレーニングデータを収集する必要のない分散学習は、ビッグデータ時代においてますます重要になっている。 特にランダムウォークベースの分散アルゴリズムは、すべてのクライアントが信頼する中央サーバを必要とせず、すべてのクライアントがすべてのイテレーションでアクティブになる必要はない。 しかし、既存の分散学習アルゴリズムでは、すべての学習クライアントが同じタスクを共有していると仮定している。 本稿では,異なるクライアントが限られた学習データで異なる(しかし関連する)タスクを実行する,より困難なメタラーニング環境について考察する。 そこで我々はLoDMeta(Local Decentralized Meta-learning)を提案する。LoDMeta(Local Decentralized Meta-learning)は局所的な最適化パラメータとランダムな摂動をモデルパラメータに用いて提案する。 コンバージェンスとプライバシ分析の両方に関する理論的結果が提供される。 いくつかの数ショットの学習データセットに対する実証的な結果から、LoDMetaは集中型メタ学習アルゴリズムと類似したメタ学習精度を持っているが、各クライアントからのデータ収集は必要とせず、各クライアントのデータプライバシをよりよく保護することができる。

関連論文リスト

• Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
  フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。 フェデレーション学習の課題の1つは、クライアント間の非制約データである。
  論文  参考訳（メタデータ） (2023-06-29T05:58:47Z)
• Differentially Private Decentralized Deep Learning with Consensus Algorithms [10.208363125551555]
  協調的な分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存している。 信頼できない隣人エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。 協調訓練の前後で各エージェントの局所的データセットを確保できる分別的私的分散学習を導入する。
  論文  参考訳（メタデータ） (2023-06-24T07:46:00Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• Find Your Friends: Personalized Federated Learning with the Right Collaborators [7.749713014052951]
  従来のフェデレーション学習環境では、中央サーバがクライアントのネットワークを調整し、1つのグローバルモデルをトレーニングする。 我々はFedeRiCoという新しい分散フレームワークを提案し、各クライアントはローカルなデータ配信に最適であるだけでなく、他のクライアントからも学べる。
  論文  参考訳（メタデータ） (2022-10-12T21:29:22Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。