論文の概要: Training strategy for a lightweight countermeasure model for automatic
speaker verification
- arxiv url: http://arxiv.org/abs/2203.17031v1
- Date: Thu, 31 Mar 2022 13:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 22:13:13.935616
- Title: Training strategy for a lightweight countermeasure model for automatic
speaker verification
- Title(参考訳): 話者自動検証のための軽量対策モデルの訓練戦略
- Authors: Yen-Lun Liao, Xuanjun Chen, Chung-Che Wang, Jyh-Shing Roger Jang
- Abstract要約: 本稿では,ASVのための軽量CMモデルのトレーニング戦略を提案する。
ASVspoof 2021 Logical Accessタスクのevalua-tionフェーズでは、軽量ResNetSEモデルがmin t-DCF 0.2695とEER 3.54%に達する。
- 参考スコア(独自算出の注目度): 6.174721516017139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The countermeasure (CM) model is developed to protect Automatic Speaker
Verification (ASV) systems from spoof attacks and prevent resulting personal
information leakage. Based on practicality and security considerations, the CM
model is usually deployed on edge devices, which have more limited computing
resources and storage space than cloud- based systems. This work proposes
training strategies for a lightweight CM model for ASV, using generalized end-
to-end (GE2E) pre-training and adversarial fine-tuning to improve performance,
and applying knowledge distillation (KD) to reduce the size of the CM model. In
the evalua- tion phase of the ASVspoof 2021 Logical Access task, the
lightweight ResNetSE model reaches min t-DCF 0.2695 and EER 3.54%. Compared to
the teacher model, the lightweight student model only uses 22.5% of parameters
and 21.1% of multiply and accumulate operands of the teacher model.
- Abstract(参考訳): 自動話者照合(asv)システムをspoof攻撃から保護し、個人情報漏洩を防止するための対策(cm)モデルを開発した。
実用性とセキュリティ上の考慮に基づき、CMモデルは通常、クラウドベースのシステムよりも限られたコンピューティングリソースとストレージスペースを持つエッジデバイスにデプロイされる。
本研究は,asv用軽量cmモデルのトレーニング戦略を提案し,汎用endto-end (ge2e) プリトレーニングと逆行微調整による性能向上と,cmモデルのサイズ削減のための知識蒸留 (kd) の適用を提案する。
ASVspoof 2021 Logical Accessタスクのevalua-tionフェーズでは、軽量ResNetSEモデルがmin t-DCF 0.2695とEER 3.54%に達する。
教師モデルと比較して、軽量な生徒モデルはパラメータの22.5%と教師モデルの倍数と累積オペランドの21.1%しか使用していない。
関連論文リスト
- DistiLLM: Towards Streamlined Distillation for Large Language Models [58.40950424419147]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。
DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2024-02-06T11:10:35Z) - End-to-End Temporal Action Detection with 1B Parameters Across 1000
Frames [60.88096113158131]
時間的行動検出(TAD)は、エンドツーエンドのトレーニングで大幅に改善された。
メモリボトルネックのため、限られたスケールと限られたデータ量を持つモデルだけがエンドツーエンドのトレーニングを受けることができる。
本稿では,エンド・ツー・エンドのトレーニングにおけるメモリ消費を削減し,10億のパラメータと入力映像を1,536フレームにスケールアップする。
論文 参考訳(メタデータ) (2023-11-28T21:31:04Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳(メタデータ) (2023-10-16T06:16:47Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳(メタデータ) (2022-11-27T21:43:45Z) - p-Meta: Towards On-device Deep Model Adaptation [30.27192953408665]
p-Metaは、構造的に部分的なパラメータの更新を強制する新しいメタ学習手法である。
p-Metaは、最先端のショットアダプティブ法と比較して平均2.5倍のピークダイナミックメモリを著しく減少させることを示した。
論文 参考訳(メタデータ) (2022-06-25T18:36:59Z) - Improving Knowledge Graph Embedding via Iterative Self-Semantic
Knowledge Distillation [21.635448800039118]
知識グラフ埋め込み (KGE) は, 連続ベクトル空間への実体と関係の投影によるリンク予測のために, 集中的に研究されている。
現在の一般的な高次元KGE法は、膨大な計算とメモリコストを必要とするが、非常にわずかな性能向上が得られる。
低次元空間におけるKGEモデル表現性を改善するための自己意味的知識蒸留戦略を提案する。
論文 参考訳(メタデータ) (2022-06-07T01:49:22Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-12-16T15:33:11Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - Adversarial Concurrent Training: Optimizing Robustness and Accuracy
Trade-off of Deep Neural Networks [13.041607703862724]
ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。
ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
論文 参考訳(メタデータ) (2020-08-16T22:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。