論文の概要: Model Extraction Attack against Self-supervised Speech Models

• arxiv url: http://arxiv.org/abs/2211.16044v1
• Date: Tue, 29 Nov 2022 09:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 15:46:29.689672
• Title: Model Extraction Attack against Self-supervised Speech Models
• Title（参考訳）: 自己教師型音声モデルに対するモデル抽出攻撃
• Authors: Tsu-Yuan Hsu, Chen-An Li, Tung-Yu Wu, Hung-yi Lee
• Abstract要約: 自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本稿では,少数のクエリを用いたSSL音声モデルに対するMEA問題について検討する。
• 参考スコア（独自算出の注目度）: 58.114070193858545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) speech models generate meaningful representations of given clips and achieve incredible performance across various downstream tasks. Model extraction attack (MEA) often refers to an adversary stealing the functionality of the victim model with only query access. In this work, we study the MEA problem against SSL speech model with a small number of queries. We propose a two-stage framework to extract the model. In the first stage, SSL is conducted on the large-scale unlabeled corpus to pre-train a small speech model. Secondly, we actively sample a small portion of clips from the unlabeled corpus and query the target model with these clips to acquire their representations as labels for the small model's second-stage training. Experiment results show that our sampling methods can effectively extract the target model without knowing any information about its model architecture.
• Abstract（参考訳）: 自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成し、様々な下流タスクで素晴らしいパフォーマンスを達成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本研究では,少数のクエリを持つSSL音声モデルに対するMEA問題について検討する。 モデル抽出のための2段階フレームワークを提案する。 第1段階では、SSLは大規模未ラベルコーパス上で実施され、小さな音声モデルを事前訓練する。 第2に,ラベルのないコーパスから少数のクリップを積極的にサンプリングし,これらのクリップでターゲットモデルを照会し,その表現をラベルとして取得し,第2段階のトレーニングを行う。 実験の結果,本手法はモデル構造に関する情報を知らずに対象モデルを効果的に抽出できることがわかった。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• MoPe: Model Perturbation-based Privacy Attacks on Language Models [4.4746931463927835]
  大規模言語モデル(LLM)は、トレーニングデータに存在する機密情報を意図せずにリークすることができる。 本稿では,事前学習した言語モデルのトレーニングデータに含まれるテキストを高い信頼度で識別する新しい手法であるモデル摂動(MoPe)を提案する。
  論文  参考訳（メタデータ） (2023-10-22T17:33:19Z)
• Mispronunciation detection using self-supervised speech representations [10.010024759851142]
  本稿では,第2言語学習者の誤発音検出作業におけるSSLモデルの利用について検討する。 そこで本研究では,1)母国英語データを用いた音声認識モデルの訓練,2)非母国英語データを用いた目標タスクのためのモデルを直接訓練する,という2つのダウンストリームアプローチを比較した。
  論文  参考訳（メタデータ） (2023-07-30T21:20:58Z)
• Pushing the Limits of Unsupervised Unit Discovery for SSL Speech Representation [12.506633315768832]
  HuBERTは、オフラインクラスタリングを利用して、音声特徴を個別単位に変換して、マスク付き言語モデリングプリテキストタスクの例である。 SSLターゲットを改善するための教師なし手法を提案する。 MonoBERTとPolyBERTの2つのモデルが提案されている。
  論文  参考訳（メタデータ） (2023-06-15T07:45:12Z)
• LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
  我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
  論文  参考訳（メタデータ） (2023-05-04T23:54:37Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• On the Difficulty of Defending Self-Supervised Learning against Model Extraction [23.497838165711983]
  SSL(Self Supervised Learning)は、複雑な入力を明示的なラベルに頼ることなく表現に変換するモデルを訓練するMLパラダイムである。 本稿ではSSLに対するモデル盗難攻撃について検討する。 いくつかの新たな攻撃を構築し、被害者の盗難表現を直接訓練するアプローチがクエリ効率が高く、下流モデルに高い精度で適用可能であることを発見した。
  論文  参考訳（メタデータ） (2022-05-16T17:20:44Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• Speech Summarization using Restricted Self-Attention [79.89680891246827]
  音声要約に最適化された単一モデルを提案する。 提案モデルでは,ハウ-2コーパスの音声を直接要約する手法が提案されている。
  論文  参考訳（メタデータ） (2021-10-12T18:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。