論文の概要: Avoid Overfitting User Specific Information in Federated Keyword
Spotting
- arxiv url: http://arxiv.org/abs/2206.08864v1
- Date: Fri, 17 Jun 2022 16:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 15:45:45.666938
- Title: Avoid Overfitting User Specific Information in Federated Keyword
Spotting
- Title（参考訳）: フェデレーションキーワードスポッティングにおけるユーザ固有の情報過剰の回避
- Authors: Xin-Chun Li, Jin-Lin Tang, Shaoming Song, Bingshuai Li, Yinchuan Li,
Yunfeng Shao, Le Gan, De-Chuan Zhan
- Abstract要約: キーワードスポッティング(KWS)は、特定のウェイクアップワードを他の信号と正確に、かつ効率的に区別することを目的としている。
最近の研究は、様々なディープネットワークを利用して、すべてのユーザの音声データを集中的にKWSモデルを訓練している。
FedKWSは、ユーザのデータを直接共有することなく、ソリューションとして機能する可能性がある。
我々は,FedKWSにおけるユーザ固有の情報に過度に適合しないよう,モデルに推奨する戦略をいくつか提案する。
- 参考スコア（独自算出の注目度）: 26.329001012897535
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Keyword spotting (KWS) aims to discriminate a specific wake-up word from
other signals precisely and efficiently for different users. Recent works
utilize various deep networks to train KWS models with all users' speech data
centralized without considering data privacy. Federated KWS (FedKWS) could
serve as a solution without directly sharing users' data. However, the small
amount of data, different user habits, and various accents could lead to fatal
problems, e.g., overfitting or weight divergence. Hence, we propose several
strategies to encourage the model not to overfit user-specific information in
FedKWS. Specifically, we first propose an adversarial learning strategy, which
updates the downloaded global model against an overfitted local model and
explicitly encourages the global model to capture user-invariant information.
Furthermore, we propose an adaptive local training strategy, letting clients
with more training data and more uniform class distributions undertake more
local update steps. Equivalently, this strategy could weaken the negative
impacts of those users whose data is less qualified. Our proposed FedKWS-UI
could explicitly and implicitly learn user-invariant information in FedKWS.
Abundant experimental results on federated Google Speech Commands verify the
effectiveness of FedKWS-UI.
- Abstract（参考訳）: キーワードスポッティング(KWS)は、特定のウェイクアップワードを他の信号と正確にかつ効率的に区別することを目的としている。
近年の作業では、データプライバシを考慮せずに、さまざまなディープネットワークを使用して、すべてのユーザの音声データを集中的にKWSモデルをトレーニングしている。
フェデレートされたKWS(FedKWS)は、ユーザのデータを直接共有することなくソリューションとして機能する。
しかし、少量のデータ、異なるユーザー習慣、様々なアクセントは、過剰フィッティングや重みの相違など、致命的な問題を引き起こす可能性がある。
そこで本研究では,feedkwsにおけるユーザ固有情報を過小評価しないようにモデルを促すいくつかの戦略を提案する。
具体的には、まず、ダウンロードされたグローバルモデルを過度に適合したローカルモデルに対して更新し、ユーザ不変情報をキャプチャするためのグローバルモデルを明示的に推奨する逆学習戦略を提案する。
さらに、より訓練データとより均一なクラス分布を持つクライアントに、より局所的な更新手順を施す適応的なローカルトレーニング戦略を提案する。
同じくこの戦略は、データの資格が低いユーザの負の影響を弱める可能性がある。
提案したFedKWS-UIは、FedKWSで明示的に暗黙的にユーザ不変情報を学習できる。
federated google speech commandの豊富な実験結果がfeedkws-uiの有効性を検証している。
関連論文リスト
- Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - Label Inference Attacks against Node-level Vertical Federated GNNs [26.80658307067889]
ゼロ・バックグラウンドの知識戦略を用いて,VFL (Vertical Federated Learning) のラベル推論攻撃について検討した。
提案した攻撃であるBlindSageは、実験で素晴らしい結果をもたらし、ほとんどのケースで100%近い精度を実現しています。
論文 参考訳（メタデータ） (2023-08-04T17:04:58Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳（メタデータ） (2022-08-04T04:24:16Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Eluding Secure Aggregation in Federated Learning via Model Inconsistency [2.647302105102753]
フェデレートされた学習により、ユーザーはプライベートトレーニングデータセット上でディープニューラルネットワークをトレーニングできる。
悪意のあるサーバは,たとえ後者が存在していなかったとしても,セキュアなアグリゲーションを容易に回避できることを示す。
個別のプライベートトレーニングデータセットに関する情報を推測できる2つの異なる攻撃を考案する。
論文 参考訳（メタデータ） (2021-11-14T16:09:11Z) - Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。
学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
論文 参考訳（メタデータ） (2021-04-01T09:44:57Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。