論文の概要: Heterogeneous Decentralized Machine Unlearning with Seed Model
Distillation
- arxiv url: http://arxiv.org/abs/2308.13269v2
- Date: Mon, 28 Aug 2023 08:09:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 10:54:14.496536
- Title: Heterogeneous Decentralized Machine Unlearning with Seed Model
Distillation
- Title(参考訳): シードモデル蒸留による不均一分散機械学習
- Authors: Guanhua Ye, Tong Chen, Quoc Viet Hung Nguyen, Hongzhi Yin
- Abstract要約: 情報セキュリティ法は、訓練された機械学習モデルによって忘れられる無条件の権利を持つユーザーを許した。
蒸留したシードモデルを用いて,すべてのクライアントに対して,消去可能なアンサンブルを構築する,HDUSと呼ばれる分散アンラーニングフレームワークを設計する。
- 参考スコア(独自算出の注目度): 47.42071293545731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As some recent information security legislation endowed users with
unconditional rights to be forgotten by any trained machine learning model,
personalized IoT service providers have to put unlearning functionality into
their consideration. The most straightforward method to unlearn users'
contribution is to retrain the model from the initial state, which is not
realistic in high throughput applications with frequent unlearning requests.
Though some machine unlearning frameworks have been proposed to speed up the
retraining process, they fail to match decentralized learning scenarios. In
this paper, we design a decentralized unlearning framework called HDUS, which
uses distilled seed models to construct erasable ensembles for all clients.
Moreover, the framework is compatible with heterogeneous on-device models,
representing stronger scalability in real-world applications. Extensive
experiments on three real-world datasets show that our HDUS achieves
state-of-the-art performance.
- Abstract(参考訳): 最近の情報セキュリティ法は、トレーニングされた機械学習モデルによって忘れられる無条件の権利をユーザに与えているため、パーソナライズされたiotサービスプロバイダは、学習しない機能を考慮に入れなければならない。
ユーザのコントリビューションを解放する最も簡単な方法は、未学習要求の頻繁な高スループットアプリケーションでは現実的ではない初期状態からモデルを再トレーニングすることです。
再トレーニングプロセスを高速化するためにいくつかの機械学習フレームワークが提案されているが、分散学習シナリオと一致しない。
本稿では,蒸留シードモデルを用いて全クライアントの消去可能なアンサンブルを構築するhdusという分散学習フレームワークを設計した。
さらに、このフレームワークは異種オンデバイスモデルと互換性があり、現実世界のアプリケーションにおいてより強力なスケーラビリティを示している。
3つの実世界のデータセットに対する大規模な実験は、HDUSが最先端のパフォーマンスを達成することを示している。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Exploiting Features and Logits in Heterogeneous Federated Learning [0.2538209532048866]
フェデレーテッド・ラーニング(FL)は、エッジデバイスの管理を容易にすることで、共有モデルを協調的にトレーニングする。
本稿では,特徴量とロジットを管理することによって異種クライアントモデルをサポートする新しいデータフリーFL法を提案する。
Feloとは異なり、サーバはVeroに条件付きVAEを持ち、これは中レベルの機能をトレーニングし、ラベルに従って合成機能を生成するために使用される。
論文 参考訳(メタデータ) (2022-10-27T15:11:46Z) - Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation
of Predictive Models [17.83007940710455]
機械学習ベースのアプリケーションを構築したい企業にとって、将来の2つのトレンドは、リアルタイムの推論と継続的な更新である。
本稿では,これらの課題に対処するため,新しいソフトウェアサービスと継続的学習・アズ・ア・サービス(CL)と呼ばれるモデル配信基盤を定義した。
オンプレミスソリューションなしで、効率的でステートフルで使いやすい方法で、データサイエンティストのためのモデル更新とバリデーションツールをサポートする。
論文 参考訳(メタデータ) (2022-06-14T16:22:54Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Federated Action Recognition on Heterogeneous Embedded Devices [16.88104153104136]
本研究では,限られた計算能力を持つクライアントが行動認識を行うことを可能にする。
我々はまず,大規模なデータセットの知識蒸留を通じて,中央サーバでモデル圧縮を行う。
より小さなデータセットに存在する限られたデータは、アクション認識モデルが複雑な時間的特徴を学習するのに十分なものではないため、微調整が必要である。
論文 参考訳(メタデータ) (2021-07-18T02:33:24Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。
その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文 参考訳(メタデータ) (2021-03-22T14:16:16Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳(メタデータ) (2021-02-01T14:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。