論文の概要: An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition

• arxiv url: http://arxiv.org/abs/2210.06382v1
• Date: Wed, 12 Oct 2022 16:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:53:46.949531
• Title: An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
• Title（参考訳）: Poisson Sub-Samplingを用いた教師学生のアンサンブル学習 : 音声認識のための差分プライバシー保護
• Authors: Chao-Han Huck Yang, Jun Qi, Sabato Marco Siniscalchi, Chin-Hui Lee
• Abstract要約: 本稿では,Poissonサブサンプルを用いたアンサンブル学習フレームワークを提案する。 DP下での強化を通じて、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を受けない。 提案手法は,<i>Poisson sub-sampling</i>によるプライバシ予算の増幅を行い,同じレベルのプライバシ予算を達成するためにノイズの少ないターゲット予測モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 51.20130423303659
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose an ensemble learning framework with Poisson sub-sampling to effectively train a collection of teacher models to issue some differential privacy (DP) guarantee for training data. Through boosting under DP, a student model derived from the training data suffers little model degradation from the models trained with no privacy protection. Our proposed solution leverages upon two mechanisms, namely: (i) a privacy budget amplification via Poisson sub-sampling to train a target prediction model that requires less noise to achieve a same level of privacy budget, and (ii) a combination of the sub-sampling technique and an ensemble teacher-student learning framework that introduces DP-preserving noise at the output of the teacher models and transfers DP-preserving properties via noisy labels. Privacy-preserving student models are then trained with the noisy labels to learn the knowledge with DP-protection from the teacher model ensemble. Experimental evidences on spoken command recognition and continuous speech recognition of Mandarin speech show that our proposed framework greatly outperforms existing DP-preserving algorithms in both speech processing tasks.
• Abstract（参考訳）: 本稿では,教師モデルの集合を効果的に訓練し,データに対する差分プライバシー(dp)保証を発行するための,poissonサブサンプリングを用いたアンサンブル学習フレームワークを提案する。 dp下での強化により、トレーニングデータから派生した学生モデルは、プライバシ保護なしでトレーニングされたモデルからほとんどモデル劣化を味わわない。 提案手法は,2つのメカニズムを利用する。 (i)poissonサブサンプリングによるプライバシー予算増幅により、同じレベルのプライバシー予算を達成するのにノイズが少ないターゲット予測モデルを訓練すること。 (II)サブサンプリング手法と,教師モデルの出力にDP保存ノイズを導入し,ノイズラベルを介してDP保存特性を伝達するアンサンブル教師学生学習フレームワークを組み合わせる。 プライバシー保護の学生モデルは、教師モデルアンサンブルからDP保護の知識を学ぶためにノイズラベルで訓練される。 マンダリン音声の音声コマンド認識と連続音声認識に関する実験的証拠から,提案手法は両方の音声処理タスクにおいて既存のDP保存アルゴリズムを大幅に上回ることを示す。

関連論文リスト

• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Differentially Private Adapters for Parameter Efficient Acoustic Modeling [24.72748979633543]
  従来の適応方式に雑音の多い教師と学生のアンサンブルを導入する。 凍結事前学習音響モデルの層間に残留アダプタを挿入する。 我々の解は、RAを用いてトレーニング可能なパラメータの数を97.5%削減する。
  論文  参考訳（メタデータ） (2023-05-19T00:36:43Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification [24.596224536399326]
  疑似ソースのフレームバイフレームSNRを推定するために、SNR予測モデルを訓練する。 提案手法は,話者固有の雑音データの有用性を向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-05T17:17:55Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。