Fugu-MT 論文翻訳(概要): Production federated keyword spotting via distillation, filtering, and joint federated-centralized training

論文の概要: Production federated keyword spotting via distillation, filtering, and joint federated-centralized training

arxiv url: http://arxiv.org/abs/2204.06322v1
Date: Mon, 11 Apr 2022 18:16:41 GMT
ステータス: 処理完了
システム内更新日: 2022-04-15 00:24:48.077960
Title: Production federated keyword spotting via distillation, filtering, and joint federated-centralized training
Title（参考訳）: 蒸留・濾過・連成型集中訓練による生産連合語スポッティング
Authors: Andrew Hard, Kurt Partridge, Neng Chen, Sean Augenstein, Aishanee Shah, Hyun Jin Park, Alex Park, Sara Ng, Jessica Nguyen, Ignacio Lopez Moreno, Rajiv Mathews, Fran\c{c}oise Beaufays
Abstract要約: 我々は,実際のユーザデバイス上でのフェデレーション学習を用いてキーワードスポッティングモデルを訓練した。モデルが携帯電話上での推論のためにデプロイされた際には,大幅な改善が見られた。
参考スコア（独自算出の注目度）: 8.839644337178694
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We trained a keyword spotting model using federated learning on real user devices and observed significant improvements when the model was deployed for inference on phones. To compensate for data domains that are missing from on-device training caches, we employed joint federated-centralized training. And to learn in the absence of curated labels on-device, we formulated a confidence filtering strategy based on user-feedback signals for federated distillation. These techniques created models that significantly improved quality metrics in offline evaluations and user-experience metrics in live A/B experiments.
Abstract（参考訳）: 我々は,実際のユーザデバイス上でのフェデレート学習を用いたキーワードスポッティングモデルを訓練し,電話での推論にモデルが配置された場合,大幅な改善が見られた。デバイス上のトレーニングキャッシュに欠けているデータドメインを補償するために、統合フェデレーション集中トレーニングを採用した。また, デバイス上での硬化ラベルの欠如から学習するために, ユーザフィードバック信号に基づく信頼度フィルタリング戦略を定式化した。これらの技術は、オフライン評価における品質指標と、ライブa/b実験におけるユーザエクスペリエンス指標を大幅に改善するモデルを作成した。

関連論文リスト

Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文参考訳（メタデータ） (2024-01-22T14:16:37Z)
Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文参考訳（メタデータ） (2022-06-06T12:10:53Z)
Federated Learning with Noisy User Feedback [26.798303045807508]
フェデレートラーニング(FL)は、センシティブなユーザデータを使用してエッジデバイス上でMLモデルをトレーニングする方法として登場した。本稿では,肯定的および否定的なユーザフィードバックを用いたFLモデルのトレーニング戦略を提案する。本研究では,本手法が自己学習ベースラインよりも大幅に向上し,完全教師付きモデルに近い性能が得られることを示す。
論文参考訳（メタデータ） (2022-05-06T09:14:24Z)
Comparative assessment of federated and centralized machine learning [0.0]
Federated Learning(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われる、プライバシ保護機械学習スキームである。本稿では,非IID分散データの性質から,フェデレーション学習に影響を及ぼす諸要因について論じる。トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
論文参考訳（メタデータ） (2022-02-03T11:20:47Z)
Location Leakage in Federated Signal Maps [7.093808731951124]
複数のモバイルデバイスで収集した測定値からセルラーネットワーク性能(信号マップ)を予測することの問題点を考察する。 i) フェデレーション学習は、ユーザがデバイスにトレーニングデータを保持しながら、協調的にモデルをトレーニングすることを可能にする。我々は、FLに参加しているターゲットユーザーから更新を観測し、グラデーション(DLG)タイプの攻撃による深い漏洩を用いて位置情報を推測する、誠実だが正確なサーバを考える。 FLのチューニングを含むフェデレーション学習フレームワーク内でのメカニズムの再検討と設計により、位置のプライバシーを保護するために、この観測に基づいて構築する。
論文参考訳（メタデータ） (2021-12-07T02:28:12Z)
Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-20T10:46:58Z)
Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文参考訳（メタデータ） (2021-02-09T13:58:33Z)
FedRec: Federated Learning of Universal Receivers over Fading Channels [92.15358738530037]
本稿では,ダウンリンクフェージングチャネルに対するニューラルネットワークを用いたシンボル検出手法を提案する。複数のユーザが協力して、普遍的なデータ駆動型検出器を学習する。得られた受信機の性能は、フェーディング統計の知識を必要とせずに、様々なチャネル条件下でMAP性能に近づくことを示す。
論文参考訳（メタデータ） (2020-11-14T11:29:55Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)
Training Keyword Spotting Models on Non-IID Data with Federated Learning [6.784774147680782]
そこで本研究では,フェデレート学習を用いて,高品質なキーワードスポッティングモデルをデバイス上でトレーニング可能であることを示す。デバイス上のデータの適合に関するアルゴリズム上の制約を克服するため、最適化アルゴリズムの徹底的な実験研究を行う。教師と学生のトレーニングを調査するために、サンプル(デバイス上のデータにゼロ可視性を持たせること)をラベル付けします。
論文参考訳（メタデータ） (2020-05-21T00:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。