論文の概要: TranssionADD: A multi-frame reinforcement based sequence tagging model
for audio deepfake detection
- arxiv url: http://arxiv.org/abs/2306.15212v1
- Date: Tue, 27 Jun 2023 05:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 14:39:44.459073
- Title: TranssionADD: A multi-frame reinforcement based sequence tagging model
for audio deepfake detection
- Title（参考訳）: TranssionADD:オーディオディープフェイク検出のための多フレーム強化に基づくシーケンスタグ付けモデル
- Authors: Jie Liu and Zhiba Su and Hui Huang and Caiyan Wan and Quanxiu Wang and
Jiangli Hong and Benlai Tang and Fengjie Zhu
- Abstract要約: 第2回Audio Deepfake Detection Challenge (ADD 2023)は、ディープフェイク音声の検出と分析を目的としている。
本稿では,モデルロバストネスと音声セグメント出力の解法として,新しいTranssionADDシステムを提案する。
提案システムの有効性とロバスト性を実証し, トラック2で2位となった。
- 参考スコア（独自算出の注目度）: 11.27584658526063
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Thanks to recent advancements in end-to-end speech modeling technology, it
has become increasingly feasible to imitate and clone a user`s voice. This
leads to a significant challenge in differentiating between authentic and
fabricated audio segments. To address the issue of user voice abuse and misuse,
the second Audio Deepfake Detection Challenge (ADD 2023) aims to detect and
analyze deepfake speech utterances. Specifically, Track 2, named the
Manipulation Region Location (RL), aims to pinpoint the location of manipulated
regions in audio, which can be present in both real and generated audio
segments. We propose our novel TranssionADD system as a solution to the
challenging problem of model robustness and audio segment outliers in the trace
competition. Our system provides three unique contributions: 1) we adapt
sequence tagging task for audio deepfake detection; 2) we improve model
generalization by various data augmentation techniques; 3) we incorporate
multi-frame detection (MFD) module to overcome limited representation provided
by a single frame and use isolated-frame penalty (IFP) loss to handle outliers
in segments. Our best submission achieved 2nd place in Track 2, demonstrating
the effectiveness and robustness of our proposed system.
- Abstract（参考訳）: 近年、エンド・ツー・エンドの音声モデリング技術の進歩により、ユーザの音声を模倣し、クローンすることが可能になる。
これにより、本物の音声セグメントと製造された音声セグメントを区別する上で大きな課題となる。
第2回Audio Deepfake Detection Challenge (ADD 2023)は、ユーザの音声の乱用と誤用に対処するため、ディープフェイク音声の発話を検出し分析することを目的としている。
特に、トラック2は、操作領域位置 (Manipulation Region Location, RL) と名付けられ、実際の音声セグメントと生成された音声セグメントの両方に存在する、操作された領域の位置を特定することを目的としている。
本稿では,トラスト競争におけるモデルロバストネスと音声セグメント出力の課題に対する解決法として,新しいTranssionADDシステムを提案する。
私たちのシステムには3つのユニークな貢献があります
1)音声ディープフェイク検出のためのシーケンスタグ付けタスクを適応する。
2) 様々なデータ拡張手法によるモデル一般化の改善。
3)マルチフレーム検出(MFD)モジュールを組み込んで,単一フレームが提供する制限された表現を克服し,分離フレームペナルティ(IFP)損失を用いてセグメントの外れ値を処理する。
提案システムの有効性とロバスト性を実証し, トラック2で2位となった。
関連論文リスト
- Statistics-aware Audio-visual Deepfake Detector [11.671275975119089]
オーディオ・ヴィジュアルフェイク検出の手法は、主に音声と視覚の特徴の同期を評価する。
モデルの識別能力を高めるため,統計的特徴損失を提案する。
DFDCおよびFakeAVCelebデータセットの実験により,提案手法の妥当性が示された。
論文 参考訳（メタデータ） (2024-07-16T12:15:41Z) - Robust Wake-Up Word Detection by Two-stage Multi-resolution Ensembles [48.208214762257136]
オーディオストリームのリアルタイム処理のための軽量オンデバイスモデルと、サーバ側の検証モデルである。
プライバシーを保護するため、オーディオ機能は生のオーディオではなくクラウドに送られる。
論文 参考訳（メタデータ） (2023-10-17T16:22:18Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Deep Spectro-temporal Artifacts for Detecting Synthesized Speech [57.42110898920759]
本稿では,トラック1(低品質フェイク音声検出)とトラック2(部分フェイク音声検出)の総合評価を行う。
本稿では, 原時間信号, スペクトル特性, 深層埋没特性を用いて, 分光時相アーティファクトを検出した。
我々はそれぞれ1番線と2番線で4位と5位にランクインした。
論文 参考訳（メタデータ） (2022-10-11T08:31:30Z) - Synthetic Voice Detection and Audio Splicing Detection using
SE-Res2Net-Conformer Architecture [2.9805017559176883]
本稿では,最近のConformerブロックを組み込むことで既存のRes2Netを拡張し,音響特性の局所パターンをさらに活用する。
ASVspoof 2019データベースの実験結果から,提案したSE-Res2Net-Conformerアーキテクチャは,スプーフィング対策の性能を向上させることができることがわかった。
本稿では,既存の音声スプライシング検出問題を再定式化することを提案する。
論文 参考訳（メタデータ） (2022-10-07T14:30:13Z) - Partially Fake Audio Detection by Self-attention-based Fake Span
Discovery [89.21979663248007]
本稿では,部分的に偽の音声を検出する自己認識機構を備えた質問応答(フェイクスパン発見)戦略を導入することで,新たな枠組みを提案する。
ADD 2022の部分的に偽の音声検出トラックで第2位にランクインした。
論文 参考訳（メタデータ） (2022-02-14T13:20:55Z) - Audio-visual Speech Separation with Adversarially Disentangled Visual
Representation [23.38624506211003]
音声分離は、複数の同時話者による音声の混合から個々の音声を分離することを目的としている。
本モデルでは,顔検出器を用いて現場の話者数を検出し,視覚情報を用いて順列化問題を回避する。
提案モデルは,最先端のオーディオのみのモデルと3つのオーディオ視覚モデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-11-29T10:48:42Z) - FragmentVC: Any-to-Any Voice Conversion by End-to-End Extracting and
Fusing Fine-Grained Voice Fragments With Attention [66.77490220410249]
本稿では、Wav2Vec 2.0から、音源話者からの発声の潜在音声構造を求めるFragmentVCを提案する。
FragmentVCは、ターゲット話者発話からきめ細かい音声断片を抽出し、所望の発話に融合することができる。
提案手法は, コンテンツと話者情報との絡み合いを考慮せずに, 再構成損失を学習する。
論文 参考訳（メタデータ） (2020-10-27T09:21:03Z) - DeepMSRF: A novel Deep Multimodal Speaker Recognition framework with
Feature selection [2.495606047371841]
特徴選択を用いたディープマルチモーダル話者認識法であるディープMSRFを提案する。
我々は2つのモードの特徴、すなわち話者の音声と顔画像の供給によってDeepMSRFを実行する。
DeepMSRFの目標は、まず話者の性別を特定し、さらに特定のビデオストリームに対して氏の名前を認識することである。
論文 参考訳（メタデータ） (2020-07-14T04:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。