論文の概要: Audio Deepfake Detection Using Temporal Coherence Analysis
- arxiv url: http://arxiv.org/abs/2609.09489v1
- Date: Tue, 08 Sep 2026 22:08:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.827993
- Title: Audio Deepfake Detection Using Temporal Coherence Analysis
- Title（参考訳）: 時間的コヒーレンス分析を用いたディープフェイク検出
- Abstract要約: AI生成オーディオ(いわゆる「ディープフェイク」オーディオ)は、情報の完全性に重大な脅威をもたらす。
本稿では,Contrastive Language-Audio Pretraining Embeddingsに基づく時間的コヒーレンス分析フレームワークを提案する。
我々は、合成音声と真正性を確実に区別する軽量アンサンブル分類器を訓練する。
- 参考スコア（独自算出の注目度）: 0.21485350418225244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of AI-generated audio (so-called "deepfake" audio) poses significant threats to information integrity, from voice cloning fraud to synthetic music copyright disputes. We present a temporal coherence analysis framework built upon Contrastive Language-Audio Pretraining (CLAP) embeddings that spans speech, instrumental music, and music with vocals. By computing pairwise cosine similarities between audio segment embeddings and extracting statistical features from the resulting distributions, we train lightweight ensemble classifiers that reliably distinguish authentic from synthetic audio. Our work provides an interpretable, computationally efficient alternative to common deep learning methods while still achieving competitive performance across speech and music domains. Further, we reveal two notable empirical findings about audio deepfakes: (1) a feature-label inversion phenomenon in which 21 of 29 statistical features reverse their discriminative direction between training and in-the-wild deployment, and (2) a speech--music direction reversal in which entropy discriminates in opposite directions for speech and music deepfakes.
- Abstract（参考訳）: AI生成オーディオ(いわゆる「ディープフェイク」オーディオ)の普及は、音声クローン詐欺から合成音楽著作権論争まで、情報の完全性に重大な脅威をもたらす。
本稿では,言語・オーディオ事前学習(CLAP)を組み込んだ時間的コヒーレンス分析フレームワークについて述べる。
音声セグメントの埋め込みと結果の分布から統計的特徴を抽出することで、合成音声と真正性を確実に区別する軽量アンサンブル分類器を訓練する。
我々の研究は、音声と音楽のドメイン間での競争性能を保ちながら、一般的なディープラーニング手法に代わる、解釈可能で、計算的に効率的な代替手段を提供する。
さらに,音声ディープフェイクに関する2つの顕著な経験的知見を明らかにし,(1)29の統計的特徴のうち21が訓練と編曲の間の識別方向を逆転する特徴ラベル逆転現象,(2)エントロピーが音声ディープフェイクの反対方向を判別する音声-音楽方向逆転現象について述べる。
関連論文リスト
- MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection [18.1593708805924]
音声と環境音を異なる音響成分として扱う最初のベンチマークであるMADBenchを紹介する。
我々は、統一されたプロトコルの下で、最先端検出器とマルチモーダルな大規模言語モデルをベンチマークする。
実験の結果,環境音声操作は汎用エンコーダを用いた合成音声よりも検出しやすいことがわかった。
論文 参考訳（メタデータ） (2026-08-10T13:27:09Z) - Discovering "Words" in Music: Unsupervised Learning of Compositional Sparse Code for Symbolic Music [50.87225308217594]
本稿では,記号的音楽データから「音楽単語」と呼ばれる繰り返しパターンを識別する教師なし機械学習アルゴリズムを提案する。
本稿では,音楽単語発見の課題を統計的最適化問題として定式化し,二段階予測最大化(EM)に基づく学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-29T11:10:57Z) - Bridging the Gap Between Semantic and User Preference Spaces for Multi-modal Music Representation Learning [10.558648773612191]
本稿では,意味的視点からユーザ視点への類似性を階層的にモデル化する新しい階層型2段階コントラスト学習法を提案する。
拡張性のあるオーディオエンコーダを考案し,テキストエンコーダとして事前学習されたBERTモデルを活用して,大規模コントラスト付き事前学習による音声テキストセマンティクスの学習を行う。
論文 参考訳（メタデータ） (2025-05-29T09:50:07Z) - Anomalous Sound Detection using Audio Representation with Machine ID
based Contrastive Learning Pretraining [52.191658157204856]
コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。
提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。
実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-04-07T11:08:31Z) - Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。
2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。
3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-03-28T22:45:40Z) - Combining Automatic Speaker Verification and Prosody Analysis for
Synthetic Speech Detection [15.884911752869437]
本稿では,人間の声の2つの高レベルな意味的特性を組み合わせた合成音声検出手法を提案する。
一方, 話者識別手法に着目し, 自動話者検証タスクの最先端手法を用いて抽出した話者埋め込みとして表現する。
一方、リズム、ピッチ、アクセントの変化を意図した音声韻律は、特殊なエンコーダによって抽出される。
論文 参考訳（メタデータ） (2022-10-31T11:03:03Z) - Learning music audio representations via weak language supervision [14.335950077921435]
我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。
弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。
提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
論文 参考訳（メタデータ） (2021-12-08T10:30:52Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z) - An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and
Separation [57.68765353264689]
音声強調と音声分離は関連する2つの課題である。
伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。
ディープラーニングは強力なパフォーマンスを達成するために利用されています。
論文 参考訳（メタデータ） (2020-08-21T17:24:09Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳（メタデータ） (2020-04-20T17:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。