論文の概要: Improving Membership Inference in ASR Model Auditing with Perturbed Loss Features
- arxiv url: http://arxiv.org/abs/2405.01207v1
- Date: Thu, 2 May 2024 11:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 16:44:25.401623
- Title: Improving Membership Inference in ASR Model Auditing with Perturbed Loss Features
- Title（参考訳）: 摂動損失特徴を考慮したASRモデルにおけるメンバーシップ推論の改善
- Authors: Francisco Teixeira, Karla Pizzi, Raphael Olivier, Alberto Abad, Bhiksha Raj, Isabel Trancoso,
- Abstract要約: メンバーシップ推論(MI)は、自動音声認識(ASR)システムのトレーニングデータに対して、かなりのプライバシー上の脅威となる。
本稿では,ASRモデルにおけるMIを実現するために,ガウスと逆方向の摂動を併用した損失に基づく特徴量の有効性について検討する。
- 参考スコア（独自算出の注目度）: 32.765965044767356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Membership Inference (MI) poses a substantial privacy threat to the training data of Automatic Speech Recognition (ASR) systems, while also offering an opportunity to audit these models with regard to user data. This paper explores the effectiveness of loss-based features in combination with Gaussian and adversarial perturbations to perform MI in ASR models. To the best of our knowledge, this approach has not yet been investigated. We compare our proposed features with commonly used error-based features and find that the proposed features greatly enhance performance for sample-level MI. For speaker-level MI, these features improve results, though by a smaller margin, as error-based features already obtained a high performance for this task. Our findings emphasise the importance of considering different feature sets and levels of access to target models for effective MI in ASR systems, providing valuable insights for auditing such models.
- Abstract（参考訳）: メンバーシップ推論(MI)は、ASR(Automatic Speech Recognition)システムのトレーニングデータに対してかなりのプライバシー上の脅威となると同時に、ユーザデータに関してこれらのモデルを監査する機会を提供する。
本稿では,ASRモデルにおけるMIを実現するために,ガウスと逆方向の摂動を併用した損失に基づく特徴量の有効性について検討する。
私たちの知る限りでは、このアプローチはまだ検討されていない。
提案機能と一般的なエラーベース機能を比較し,提案機能によりサンプルレベルMIの性能が大幅に向上することを確認した。
話者レベルMIの場合、これらの機能は結果を改善するが、エラーベースの機能はすでにこのタスクで高いパフォーマンスを得たため、マージンは小さくなる。
本研究は,ASRシステムにおいて,対象モデルに対する異なる特徴セットとアクセスレベルを効果的MIとして考慮することの重要性を強調し,そのようなモデルの監査に有用な洞察を提供する。
関連論文リスト
- Towards interfacing large language models with ASR systems using confidence measures and prompting [54.39667883394458]
本研究では,大言語モデル(LLM)を用いたASRテキストのポストホック修正について検討する。
精度の高い転写文に誤りを導入することを避けるため,信頼度に基づくフィルタリング手法を提案する。
その結果,競争力の低いASRシステムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-07-31T08:00:41Z) - Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。
本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。
ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
論文 参考訳（メタデータ） (2024-06-20T15:12:27Z) - Efficient Network Traffic Feature Sets for IoT Intrusion Detection [0.0]
この研究は、複数のIoTネットワークデータセットで、Information Gain、Chi-Squared Test、Recursive Feature Elimination、Mean Absolute Deviation、Dispersion Ratioといった、さまざまな機能選択メソッドの組み合わせによって提供される機能セットを評価します。
より小さな特徴セットがMLモデルの分類性能とトレーニング時間の両方に与える影響を比較し,IoT侵入検出の計算効率を高めることを目的とした。
論文 参考訳（メタデータ） (2024-06-12T09:51:29Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-02-14T17:49:07Z) - Word-Level ASR Quality Estimation for Efficient Corpus Sampling and
Post-Editing through Analyzing Attentions of a Reference-Free Metric [5.592917884093537]
品質推定(QE)メトリクスのポテンシャルは、ASRシステムにおける説明可能な人工知能(XAI)を強化する新しいツールとして導入され、評価される。
NoRefERメトリックの能力は、単語レベルの誤りを識別し、ASR仮説を補うのに役立つ。
論文 参考訳（メタデータ） (2024-01-20T16:48:55Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳（メタデータ） (2023-08-19T08:17:41Z) - On the Efficacy of Generalization Error Prediction Scoring Functions [33.24980750651318]
一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的としている。
機構選択に依存しない一般的なスコアリング関数(自信,局所多様体の滑らかさ,モデル適合性)の有効性を厳密に研究する。
論文 参考訳（メタデータ） (2023-03-23T18:08:44Z) - Using Positive Matching Contrastive Loss with Facial Action Units to
mitigate bias in Facial Expression Recognition [6.015556590955814]
本稿では、モデルがドメイン知識を用いてタスク関連機能に焦点をあてることによりバイアスを軽減することを提案する。
本手法を用いてタスク関連機能を組み込むことで,最小コストでモデルフェアネスを向上させることができることを示す。
論文 参考訳（メタデータ） (2023-03-08T21:28:02Z) - FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised
Learning Features in Robust End-to-end Speech Recognition [34.40924909515384]
エンド・ツー・エンド(E2E)ASRモデルにおける様々な融合手法を用いた多様なSSLR組合せの有効性について検討する。
提案した「FeaRLESS学習機能」は,WSJとFearless Steps Challenge(FSC)のコーパスにおいて,機能改善を伴わないシステムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-30T06:39:40Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。