論文の概要: Partial Federated Learning
- arxiv url: http://arxiv.org/abs/2403.01615v1
- Date: Sun, 3 Mar 2024 21:04:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:36:26.654762
- Title: Partial Federated Learning
- Title(参考訳): 部分的フェデレーション学習
- Authors: Tiantian Feng, Anil Ramakrishna, Jimit Majmudar, Charith Peris, Jixuan
Wang, Clement Chung, Richard Zemel, Morteza Ziyadi, Rahul Gupta
- Abstract要約: Federated Learning(FL)は、エッジデバイスに制約されたユーザデータに基づいて機械学習モデルをトレーニングする一般的なアルゴリズムである。
そこで我々は、機械学習モデルに、データのサブセットをサーバに提供可能なデータを用いてトレーニングする、Partial Federated Learning (PartialFL) と呼ばれる新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 26.357723187375665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a popular algorithm to train machine learning
models on user data constrained to edge devices (for example, mobile phones)
due to privacy concerns. Typically, FL is trained with the assumption that no
part of the user data can be egressed from the edge. However, in many
production settings, specific data-modalities/meta-data are limited to be on
device while others are not. For example, in commercial SLU systems, it is
typically desired to prevent transmission of biometric signals (such as audio
recordings of the input prompt) to the cloud, but egress of locally (i.e. on
the edge device) transcribed text to the cloud may be possible. In this work,
we propose a new algorithm called Partial Federated Learning (PartialFL), where
a machine learning model is trained using data where a subset of data
modalities or their intermediate representations can be made available to the
server. We further restrict our model training by preventing the egress of data
labels to the cloud for better privacy, and instead use a contrastive learning
based model objective. We evaluate our approach on two different multi-modal
datasets and show promising results with our proposed approach.
- Abstract(参考訳): Federated Learning(FL)は、プライバシー上の懸念からエッジデバイス(携帯電話など)に制約されたユーザデータに基づいて機械学習モデルをトレーニングする一般的なアルゴリズムである。
通常、FLはユーザーデータの一部をエッジから外すことができないという仮定で訓練される。
しかし、多くのプロダクション環境では、特定のデータモダリティ/ミータデータはデバイスに限られている。
例えば、商用sluシステムでは、一般的には、生体計測信号(入力プロンプトの音声記録など)がクラウドに送信されることを防止することが望まれるが、ローカルに(エッジデバイス上で)転写されたテキストをクラウドに転送することは可能である。
本研究では、機械学習モデルに、データモダリティのサブセットやその中間表現をサーバに提供可能なデータを用いてトレーニングする部分フェデレーション学習(PartialFL)と呼ばれる新しいアルゴリズムを提案する。
さらに,プライバシ向上のためにデータラベルのクラウドへの離脱を防止し,対照的な学習ベースのモデル目標を使用することで,モデルのトレーニングをさらに制限します。
2つの異なるマルチモーダルデータセットに対するアプローチを評価し,提案手法で有望な結果を示す。
関連論文リスト
- Stalactite: Toolbox for Fast Prototyping of Vertical Federated Learning Systems [37.11550251825938]
本稿では,VFL(Vertical Federated Learning)システムのためのオープンソースのフレームワークであるemphStalactiteを紹介する。
VFLはデータサンプルが複数のデータ所有者にまたがる機能によって分割されるFLの一種である。
実世界のレコメンデーションデータセットでその使い方を実証する。
論文 参考訳(メタデータ) (2024-09-23T21:29:03Z) - Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳(メタデータ) (2023-05-20T07:55:58Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳(メタデータ) (2022-10-24T10:59:29Z) - Split Federated Learning on Micro-controllers: A Keyword Spotting
Showcase [1.4794135558227681]
フェデレートラーニング(Federated Learning)は,ユーザの生データをサーバに収集することなく,ローカルでモデルをトレーニングする,プライベートラーニングスキームとして提案されている。
本研究では,Arduinoボード上に単純なSFLフレームワークを実装し,90%以上の精度でキーワードスポッティングアプリケーションのための中国語桁音声データセットの正当性を検証した。
英数字音声データセットでは、SFL実装は最先端のFL実装と比較して13.89%高い精度を実現している。
論文 参考訳(メタデータ) (2022-10-04T23:42:45Z) - Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。
我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。
我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文 参考訳(メタデータ) (2022-07-04T23:53:47Z) - Semi-FedSER: Semi-supervised Learning for Speech Emotion Recognition On
Federated Learning using Multiview Pseudo-Labeling [43.17379040854574]
音声感情認識(SER)アプリケーションは、しばしばプライバシー上の懸念に結びついている。
Federated Learning(FL)は、クライアントをコーディネートして、ローカルデータを共有せずにモデルを協調的にトレーニングする分散機械学習アルゴリズムである。
本研究では,ラベル付きデータとラベルなしデータの両方を用いて,FLにおける限定データサンプルの課題に対処する半教師付きフェデレーション学習フレームワークであるSemi-FedSERを提案する。
論文 参考訳(メタデータ) (2022-03-15T21:50:43Z) - Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。
Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。
既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文 参考訳(メタデータ) (2021-04-14T22:59:08Z) - Federated Learning of User Authentication Models [69.93965074814292]
機械学習モデルのプライバシー保護のためのフレームワークであるFederated User Authentication (FedUA)を提案する。
FedUAは、フェデレートされた学習フレームワークを採用して、ユーザが生の入力を共有することなく、共同でモデルをトレーニングできるようにする。
提案手法はプライバシ保護であり,多数のユーザに対してスケーラブルであることを示し,出力層を変更することなく,新たなユーザをトレーニングに追加できるようにした。
論文 参考訳(メタデータ) (2020-07-09T08:04:38Z) - An On-Device Federated Learning Approach for Cooperative Model Update
between Edge Devices [2.99321624683618]
エッジデバイスが実行時に入力データをトレーニングしてモデルを更新するように、オンデバイス学習に基づくニューラルネットワークアプローチが最近提案されている。
本稿では,OS-ELMに着目して,最近のサンプルに基づいてモデルを逐次訓練し,異常検出のためのオートエンコーダと組み合わせる。
デバイス上でのフェデレーション学習のために拡張し、エッジデバイスがトレーニングされた結果を交換し、他のエッジデバイスから収集したデータを使用してモデルを更新できるようにします。
論文 参考訳(メタデータ) (2020-02-27T18:15:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。