論文の概要: "What I See is What I Hear": Deepfake Detection Across Diverse Hearing Abilities
- arxiv url: http://arxiv.org/abs/2609.28659v1
- Date: Wed, 23 Sep 2026 18:04:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.47257
- Title: "What I See is What I Hear": Deepfake Detection Across Diverse Hearing Abilities
- Title（参考訳）: 耳に聞こえるものは何か」:様々な聴力にまたがるディープフェイク検出
- Abstract要約: オーディオヴィジュアル・ディープフェイクは 詐欺、偽装、誤報のコストを下げました しかし、その成功は究極的には 人間の知覚に依存します
セキュリティとプライバシーの研究は、ほとんどd/deafと耳障りな人口を過小評価している。
我々の研究は、ディープフェイクがDHH人口にどのように影響するかを体系的に特徴付け、異なる聴覚能力を持つグループに非対称なリスクが生じることを強調した。
- 参考スコア（独自算出の注目度）: 15.677574375281997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of audiovisual deepfakes has lowered the cost of fraud, impersonation, and misinformation, but their success ultimately depends on human perception. Detection requires integrating auditory and visual cues, yet security and privacy research has largely overlooked d/Deaf and hard-of-hearing (DHH) populations. We address this gap with an in-person, mixed-methods study of 80 participants: 31 hearing persons (HPs), 15 hard-of-hearing (HoH) participants, 17 d/Deaf participants, and 17 cochlear implant (CI) users. Each participant judged the authenticity of 30 clips, where manipulations spanned text-to-speech, voice conversion, lip-sync, or face-swap. DHH participants were less accurate than HPs overall (76.4% vs. 88.0%, p<.001), primarily because they more often classified authentic clips as manipulated (FPR: 29.7% vs. 11.2%). Differences depended strongly on the manipulated channel. For audio-only manipulations, HoH participants matched HPs (90.0% vs. 90.3%), followed by CI users (79.4%) and d/Deaf participants (41.2%). When clips contained an audiovisual manipulation, accuracy clustered between 84% and 87%, although performance still varied by manipulation method. Our work systematically characterizes how deepfakes affect DHH populations, highlighting the asymmetric risks audiovisual manipulations may pose to groups with different hearing abilities and the need for accessible, tailored defenses that support all users.
- Abstract（参考訳）: オーディオヴィジュアル・ディープフェイクの拡散は詐欺、偽装、誤報のコストを下げてきたが、その成功は究極的には人間の知覚に依存している。
検出には聴覚と視覚の手がかりを統合する必要があるが、セキュリティとプライバシーの研究は、主にd/deafとハード・オブ・ヘアリング(DHH)の人口を見落としている。
本研究は, 聴覚障害者(HP)31名, 難聴者(HoH)15名, 難聴者(D/Deaf)17名, 人工内耳使用者(CI)17名を対象に, 被験者80名を対象に, 共同調査を行った。
各被験者は、テキストから音声への変換、音声変換、リップシンク、フェイススワップなど、30のクリップの信頼性を判定した。
DHHの参加者はHP全体の76.4% vs. 88.0%, p<.001)よりも正確ではなく、主に本物のクリップを操作対象として分類した(FPR:29.7% vs. 11.2%)。
違いは操作されたチャネルに強く依存した。
音声のみの操作では、HH参加者はHP(90.0%対90.3%)、CIユーザ(79.4%)、d/deaf参加者(41.2%)と一致した。
クリップがオーディオヴィジュアルな操作を含む場合、精度は84%から87%であった。
我々の研究は、ディープフェイクがDHH人口にどのように影響するかを体系的に特徴付け、オーディオ視覚操作が聴覚能力の異なるグループにもたらす非対称なリスクと、すべてのユーザをサポートするアクセス可能な、カスタマイズされた防御の必要性を強調している。
関連論文リスト
- Tracking the Trend in How Speech Synthesizers Deceive People [0.15635627702544694]
2019年、2022年、2024年にリリースされた音声合成ツールを82人のIT専門家と比較した。
完全合成音声(フルスプーフ)では、F1スコアはRTVCとYourTTSの約90%から、ElevenLabsの48%に低下する。
発声文が1文だけ変更された部分スプーフィングでは、厳密な精度は9%に低下する。
論文 参考訳（メタデータ） (2026-08-20T12:27:37Z) - Eroding Trust in Real Speech: A Large-Scale Study of Human Audio Deepfake Perception [5.116378112926705]
本稿では,現在までの音声深度知覚における最大の聴取方法について紹介する。
138音声・音声変換システムを対象に,1,768人の被験者から35,532人の判定を収集した。
論文 参考訳（メタデータ） (2026-05-21T21:22:44Z) - Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes [4.186575888568895]
本研究は,観衆が操作されたビデオと真正性をどのように区別するかを連続的に測定することで,聴覚的ディープフェイク検出について検討する。
我々は,AV-Deepfake1MとTrusted Media Challengeデータセットを用いて,Prolificのクラウドソーシング調査を行った。
結果は、群衆労働者が本物のビデオを操作したと誤分類することは滅多にないが、多くの操作を見逃し、合意はビデオ全体で制限されていることを示している。
論文 参考訳（メタデータ） (2026-05-06T11:48:04Z) - Exploring Audio Hallucination in Egocentric Video Understanding [66.1760617001607]
最先端の大規模音声視覚言語モデル(AV-LLM)はマルチモーダルな記述を生成することができる。
本研究では、視覚的手がかりから音を推測するが、聴くことができない。
論文 参考訳（メタデータ） (2026-04-26T20:06:58Z) - Seeing, Hearing, and Knowing Together: Multimodal Strategies in Deepfake Videos Detection [5.353466593055593]
実際の映像と深層映像を判定し、信頼度を評価し、視覚、音声、知識の戦略に頼った手がかりを報告した195人の被験者を対象に調査を行った。
参加者は、ディープフェイクよりもリアルビデオの方が正確で、リアルコンテンツに対するキャリブレーション誤差が低かった。
以上の結果から,メディアリテラシーツールを効果的に活用するためには,どの手がかりが有効なのか,あるいは検出の妨げになるのかが示唆された。
論文 参考訳（メタデータ） (2026-02-01T15:29:56Z) - Attacker's Noise Can Manipulate Your Audio-based LLM in the Real World [54.68651652564436]
本稿では,Qwen2-Audioのような音声ベース大規模言語モデル(ALLM)の現実的脆弱性について検討する。
敵はステルスなオーディオの摂動を巧みに作り、ALLMを操り、特定のターゲットの動作を示す。
ユーザがALLMsと対話するときに、相手のバックグラウンドノイズを再生することで、応答品質を著しく低下させることができることを示す。
論文 参考訳（メタデータ） (2025-07-07T07:29:52Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Seeing What You Said: Talking Face Generation Guided by a Lip Reading
Expert [89.07178484337865]
音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。
従来の研究では、唇音の同期と視覚的品質が重要であった。
そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-29T07:51:07Z) - Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。
我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。
本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
論文 参考訳（メタデータ） (2022-04-06T20:51:40Z) - FoolHD: Fooling speaker identification by Highly imperceptible
adversarial Disturbances [63.80959552818541]
話者識別モデルに対する知覚不能な摂動を発生させるホワイトボックス・ステガノグラフィーによる敵攻撃を提案する。
我々のアプローチであるFoolHDは、DCTドメインで動作するGated Convolutional Autoencoderを使用し、多目的損失関数で訓練されている。
我々は,VoxCelebを用いて訓練した250話者識別xベクトルネットワークを用いてFoolHDを検証する。
論文 参考訳（メタデータ） (2020-11-17T07:38:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。