論文の概要: Towards Attention-based Contrastive Learning for Audio Spoof Detection

• arxiv url: http://arxiv.org/abs/2407.03514v1
• Date: Wed, 3 Jul 2024 21:25:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:51:01.584761
• Title: Towards Attention-based Contrastive Learning for Audio Spoof Detection
• Title（参考訳）: 意識に基づく音声スポフ検出のためのコントラスト学習に向けて
• Authors: Chirag Goel, Surya Koppisetti, Ben Colman, Ali Shahriyari, Gaurav Bharaj,
• Abstract要約: 視覚変換器 (ViT) はコンピュータビジョンにおける分類タスクに大きく進歩している。 音声スプーフ検出タスクにViTを導入する。 本稿では,クロスアテンションを用いて表現学習を支援する新しい注目型コントラスト学習フレームワーク(SSAST-CL)を提案する。
• 参考スコア（独自算出の注目度）: 3.08086566663567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformers (ViT) have made substantial progress for classification tasks in computer vision. Recently, Gong et. al. '21, introduced attention-based modeling for several audio tasks. However, relatively unexplored is the use of a ViT for audio spoof detection task. We bridge this gap and introduce ViTs for this task. A vanilla baseline built on fine-tuning the SSAST (Gong et. al. '22) audio ViT model achieves sub-optimal equal error rates (EERs). To improve performance, we propose a novel attention-based contrastive learning framework (SSAST-CL) that uses cross-attention to aid the representation learning. Experiments show that our framework successfully disentangles the bonafide and spoof classes and helps learn better classifiers for the task. With appropriate data augmentations policy, a model trained on our framework achieves competitive performance on the ASVSpoof 2021 challenge. We provide comparisons and ablation studies to justify our claim.
• Abstract（参考訳）: 視覚変換器 (ViT) はコンピュータビジョンにおける分類タスクに大きく進歩している。 Gongらは最近、いくつかの音声タスクの注意に基づくモデリングを導入した。 しかし、比較的探索されていないのは、オーディオスプーフ検出タスクにViTを使用することである。 このギャップを埋めて、このタスクにViTを導入します。 SSAST(Gong et al '22)オーディオViTモデルを微調整したバニラベースラインは、準最適等誤差率(EER)を達成する。 性能向上のために,クロスアテンションを用いて表現学習を支援する新しいアテンションベースコントラスト学習フレームワーク(SSAST-CL)を提案する。 実験の結果、我々のフレームワークは、bonafideクラスとspoofクラスをうまく切り離し、タスクのためのより良い分類器を学ぶのに役立ちます。 適切なデータ拡張ポリシでは、当社のフレームワークでトレーニングされたモデルが、ASVSpoof 2021チャレンジで競合するパフォーマンスを達成する。 我々は、我々の主張を正当化するために比較とアブレーション研究を提供する。

関連論文リスト

• Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
  本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。 この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
  論文  参考訳（メタデータ） (2024-11-18T04:35:20Z)
• CPM: Class-conditional Prompting Machine for Audio-visual Segmentation [17.477225065057993]
  CPM(Class-conditional Prompting Machine)は,クラス非依存クエリとクラス条件クエリを組み合わせた学習戦略により,双方向マッチングを改善した。 我々はAVSベンチマーク実験を行い、その手法がSOTA(State-of-the-art)セグメンテーションの精度を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-07T13:20:21Z)
• TalkNCE: Improving Active Speaker Detection with Talk-Aware Contrastive Learning [15.673602262069531]
  アクティブ話者検出(英: Active Speaker Detection、ASD)とは、ある人が話しているか否かを一連のビデオフレームで判断するタスクである。 提案するTalkNCEは,新しい会話認識型コントラスト損失である。 提案手法は, AVA-ActiveSpeaker および ASW データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-21T17:59:11Z)
• Unraveling Instance Associations: A Closer Look for Audio-Visual Segmentation [18.001730255429347]
  オーディオ視覚セグメント化(AVS)は、音声視覚キューに基づいて、正確に音を分割する作業である。 我々は,難易度と比較的偏りのない高画質な視覚的セグメンテーション・ベンチマークを構築するための新たなコスト効率戦略を提案する。 既存のAVSデータセットおよび我々の新しいベンチマークで行った実験により、我々の手法は最先端(SOTA)セグメンテーションの精度を達成できた。
  論文  参考訳（メタデータ） (2023-04-06T09:54:06Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection [88.74863771919445]
  我々は、音声のみ、視覚のみ、および音声-視覚的敵対攻撃下でのAVASDモデルの脆弱性を明らかにする。 また,攻撃者が現実的な相手を見つけるのを困難にするため,新たな音声・視覚的相互作用損失(AVIL)を提案する。
  論文  参考訳（メタデータ） (2022-10-03T08:10:12Z)
• Patch-level Representation Learning for Self-supervised Vision Transformers [68.8862419248863]
  視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。 我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-06-16T08:01:19Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound [90.1857707251566]
  MERLOT Reserveは、時間とともに動画を共同で表現するモデルである。 我々は、テキストとオーディオのスニペットをMASKトークンに置き換え、正しいマスクアウトスニペットを選択して学習する。 私たちの目標は代替手段よりも早く学習し、大規模に機能します。
  論文  参考訳（メタデータ） (2022-01-07T19:00:21Z)
• SSAST: Self-Supervised Audio Spectrogram Transformer [19.09439093130855]
  本稿では,非ラベル音声を用いた音声スペクトログラム変換器(AST)モデルを,共同識別・生成型マスマスキング・スペクトログラム・パッチ・モデリング(MSPM)で事前学習することを提案する。 我々は、音声イベント分類、キーワードスポッティング、感情認識、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。 我々の知る限りでは、このフレームワークはオーディオおよび音声領域における最初のパッチベースのセルフ教師あり学習フレームワークであり、ASTのための最初のセルフ教師あり学習フレームワークでもある。
  論文  参考訳（メタデータ） (2021-10-19T07:58:28Z)
• How to Teach DNNs to Pay Attention to the Visual Modality in Speech Recognition [10.74796391075403]
  本研究では、AV Alignの内部動作を調査し、オーディオ・視覚アライメントパターンを可視化する。 AV Alignは、一般に単調なパターンで、TD-TIMITのフレームレベルで、音声の音響的および視覚的表現を調整することを学習している。 本稿では,視覚的表現から唇関連行動単位を予測する正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。