論文の概要: Extracting Targeted Training Data from ASR Models, and How to Mitigate
It
- arxiv url: http://arxiv.org/abs/2204.08345v1
- Date: Mon, 18 Apr 2022 14:43:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 17:01:36.382463
- Title: Extracting Targeted Training Data from ASR Models, and How to Mitigate
It
- Title（参考訳）: ASRモデルからの目標トレーニングデータの抽出と緩和方法
- Authors: Ehsan Amid, Om Thakkar, Arun Narayanan, Rajiv Mathews, Fran\c{c}oise
Beaufays
- Abstract要約: ノイズマスキング(Noss Masking)は、訓練されたASRモデルからトレーニングデータのターゲット部分を抽出する、ブランク式フィリング方式の手法である。
11.8%の精度で、マスク付き訓練発話から正しい名前を抽出できることが示される。
また, テストセットから合成音声と部分的書き起こしを用いた場合においても, 精度が2.5%(名前の成功率47.7%)であることを示す。
- 参考スコア（独自算出の注目度）: 14.82033976002072
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent work has designed methods to demonstrate that model updates in ASR
training can leak potentially sensitive attributes of the utterances used in
computing the updates. In this work, we design the first method to demonstrate
information leakage about training data from trained ASR models. We design
Noise Masking, a fill-in-the-blank style method for extracting targeted parts
of training data from trained ASR models. We demonstrate the success of Noise
Masking by using it in four settings for extracting names from the LibriSpeech
dataset used for training a SOTA Conformer model. In particular, we show that
we are able to extract the correct names from masked training utterances with
11.8% accuracy, while the model outputs some name from the train set 55.2% of
the time. Further, we show that even in a setting that uses synthetic audio and
partial transcripts from the test set, our method achieves 2.5% correct name
accuracy (47.7% any name success rate). Lastly, we design Word Dropout, a data
augmentation method that we show when used in training along with MTR, provides
comparable utility as the baseline, along with significantly mitigating
extraction via Noise Masking across the four evaluated settings.
- Abstract（参考訳）: 最近の研究は、ASRトレーニングにおけるモデル更新が、更新の計算に使用される発話の潜在的に敏感な属性をリークする可能性を実証する手法を設計している。
本研究では、訓練されたASRモデルのトレーニングデータに関する情報漏洩を初めて示す手法を設計する。
我々は、訓練されたASRモデルからトレーニングデータのターゲット部分を抽出する補修式スタイルのノイズマスキングを設計する。
我々は,SOTAコンフォーマモデルのトレーニングに使用するLibriSpeechデータセットから4つの設定で名前を抽出し,ノイズマスキングの成功例を示す。
特に,11.8%の精度でマスキング学習発話から正しい名前を抽出でき,55.2%の確率で列車から何らかの名前を出力できることを示した。
さらに,テストセットから合成音声と部分的書き起こしを用いた場合においても,その精度が2.5%(47.7%)であることを示す。
最後に,mtrと共にトレーニングで使用するデータ拡張手法であるword dropoutを,ベースラインとして同等のユーティリティを提供するとともに,評価された4つの設定にまたがってノイズマスクによる抽出を著しく軽減する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-05T19:32:01Z) - CovarNav: Machine Unlearning via Model Inversion and Covariance
Navigation [11.222501077070765]
機械学習は、訓練されたモデルに対する特定のトレーニングデータポイントの影響を選択的に除去する重要なテクニックとして登場した。
我々は,このことを忘れないように,CovarNavという3段階のプロセスを導入する。
CIFAR-10とVggface2データセット上でCovarNavを厳格に評価する。
論文 参考訳（メタデータ） (2023-11-21T21:19:59Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft
Prompting and Calibrated Confidence Estimation [56.57532238195446]
本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。
メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。
我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
論文 参考訳（メタデータ） (2023-07-10T08:03:41Z) - Boosting Facial Expression Recognition by A Semi-Supervised Progressive
Teacher [54.50747989860957]
本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。
RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-05-28T07:47:53Z) - Noisy Training Improves E2E ASR for the Edge [22.91184103295888]
音声認識(ASR)は現代のエッジデバイスでますます普及している。
E2E ASRモデルは過度に適合する傾向があり、見えないテストデータの一般化には困難である。
本稿では,E2E ASRモデルトレーニングをさらに改善するための,シンプルで効果的な雑音訓練戦略を提案する。
論文 参考訳（メタデータ） (2021-07-09T20:56:20Z) - A Method to Reveal Speaker Identity in Distributed ASR Training, and How
to Counter It [3.18475216176047]
学習発話の話者の同一性を明らかにするための第1の手法を,勾配のみへのアクセスで設計する。
我々は、LibriSpeechデータセット上で34%のトップ1精度(51%のトップ5精度)で話者の身元を明らかにすることができることを示した。
論文 参考訳（メタデータ） (2021-04-15T23:15:12Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Incremental Learning for End-to-End Automatic Speech Recognition [41.297106772785206]
エンドツーエンド自動音声認識(ASR)のための漸進的学習法を提案する。
本稿では, ASRモデルに対する新しい説明可能性に基づく知識蒸留を設計し, 応答に基づく知識蒸留と組み合わせて, 元のモデルの予測と予測の「理性」を維持する。
多段階連続訓練タスクの結果,提案手法は忘れを緩和する上で,既存の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-05-11T08:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。