論文の概要: Federated Learning with a Single Shared Image

• arxiv url: http://arxiv.org/abs/2406.12658v1
• Date: Tue, 18 Jun 2024 14:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:38:36.955473
• Title: Federated Learning with a Single Shared Image
• Title（参考訳）: 単一共有画像によるフェデレーション学習
• Authors: Sunny Soni, Aaqib Saeed, Yuki M. Asano,
• Abstract要約: フェデレートラーニング(FL)は、複数のマシンがプライベートトレーニングデータを共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 1つの一般的な方法であるFedDFは、共通の共有データセットを使用して、このタスクに取り組むために蒸留を使用する。 本稿では,この知識蒸留法を,単一の共有画像にのみ依存するように改良する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 25.313809311019696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables multiple machines to collaboratively train a machine learning model without sharing of private training data. Yet, especially for heterogeneous models, a key bottleneck remains the transfer of knowledge gained from each client model with the server. One popular method, FedDF, uses distillation to tackle this task with the use of a common, shared dataset on which predictions are exchanged. However, in many contexts such a dataset might be difficult to acquire due to privacy and the clients might not allow for storage of a large shared dataset. To this end, in this paper, we introduce a new method that improves this knowledge distillation method to only rely on a single shared image between clients and server. In particular, we propose a novel adaptive dataset pruning algorithm that selects the most informative crops generated from only a single image. With this, we show that federated learning with distillation under a limited shared dataset budget works better by using a single image compared to multiple individual ones. Finally, we extend our approach to allow for training heterogeneous client architectures by incorporating a non-uniform distillation schedule and client-model mirroring on the server side.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のマシンがプライベートトレーニングデータを共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 しかし、特に異種モデルでは、各クライアントモデルから得られた知識をサーバに転送する上で重要なボトルネックが残っています。 1つの一般的な方法であるFedDFは、このタスクに、予測が交換される共通の共有データセットを使用することで、蒸留を用いて対処する。 しかし、多くのコンテキストにおいて、このようなデータセットはプライバシのため取得が困難になり、クライアントは大規模な共有データセットのストレージを許可しない可能性がある。 そこで本研究では,クライアントとサーバ間の共有画像の共有化にのみ依存するように,この知識蒸留法を改善する新しい手法を提案する。 特に,1つの画像のみから生成した最も情報性の高い作物を選択する適応的データセットプルーニングアルゴリズムを提案する。 これにより, 限られた共有データセット予算下での蒸留によるフェデレート学習は, 複数の個人と比較して単一の画像を使用することで, よりうまく機能することを示す。 最後に、不均一な蒸留スケジュールとクライアントモデルミラーリングをサーバ側に組み込むことで、異種クライアントアーキテクチャのトレーニングを可能にするためのアプローチを拡張します。

関連論文リスト

• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Heterogeneous Federated Learning Using Knowledge Codistillation [23.895665011884102]
  本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。 モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
  論文  参考訳（メタデータ） (2023-10-04T03:17:26Z)
• FedHP: Heterogeneous Federated Learning with Privacy-preserving [0.0]
  フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。 本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。 勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
  論文  参考訳（メタデータ） (2023-01-27T13:32:17Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Cross-domain Federated Object Detection [43.66352018668227]
  フェデレーション学習は、クライアントデータをリークすることなく、多人数の共同学習を可能にする。 我々はFedODというドメイン間フェデレーションオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T03:09:59Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。