論文の概要: Unmasking Illusions: Understanding Human Perception of Audiovisual Deepfakes
- arxiv url: http://arxiv.org/abs/2405.04097v2
- Date: Mon, 11 Nov 2024 09:05:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:06:42.152839
- Title: Unmasking Illusions: Understanding Human Perception of Audiovisual Deepfakes
- Title（参考訳）: アンマキング・イリュージョン:人間の聴覚深度知覚の理解
- Authors: Ammarah Hashmi, Sahibzada Adil Shahzad, Chia-Wen Lin, Yu Tsao, Hsin-Min Wang,
- Abstract要約: 本研究は,ディープフェイク映像を主観的研究により識別する人間の能力を評価することを目的とする。
人間の観察者を5つの最先端オーディオ視覚深度検出モデルと比較することにより,その知見を提示する。
同じ40の動画で評価すると、すべてのAIモデルは人間より優れていることが分かりました。
- 参考スコア（独自算出の注目度）: 49.81915942821647
- License:
- Abstract: The emergence of contemporary deepfakes has attracted significant attention in machine learning research, as artificial intelligence (AI) generated synthetic media increases the incidence of misinterpretation and is difficult to distinguish from genuine content. Currently, machine learning techniques have been extensively studied for automatically detecting deepfakes. However, human perception has been less explored. Malicious deepfakes could ultimately cause public and social problems. Can we humans correctly perceive the authenticity of the content of the videos we watch? The answer is obviously uncertain; therefore, this paper aims to evaluate the human ability to discern deepfake videos through a subjective study. We present our findings by comparing human observers to five state-ofthe-art audiovisual deepfake detection models. To this end, we used gamification concepts to provide 110 participants (55 native English speakers and 55 non-native English speakers) with a webbased platform where they could access a series of 40 videos (20 real and 20 fake) to determine their authenticity. Each participant performed the experiment twice with the same 40 videos in different random orders. The videos are manually selected from the FakeAVCeleb dataset. We found that all AI models performed better than humans when evaluated on the same 40 videos. The study also reveals that while deception is not impossible, humans tend to overestimate their detection capabilities. Our experimental results may help benchmark human versus machine performance, advance forensics analysis, and enable adaptive countermeasures.
- Abstract（参考訳）: 人工知能(AI)が生成する合成メディアは誤解釈の頻度を増大させ、真の内容と区別が難しいため、現代のディープフェイクの出現は機械学習研究において大きな注目を集めている。
現在、ディープフェイクを自動的に検出する機械学習技術が広く研究されている。
しかし、人間の知覚は研究されていない。
悪意のあるディープフェイクは最終的に公衆や社会的な問題を引き起こす可能性がある。
人間は、見ているビデオの内容の正しさを正しく認識できますか?
本研究は,ディープフェイク映像を主観的研究により識別する人間の能力を評価することを目的としている。
人間の観察者を5つの最先端オーディオ視覚深度検出モデルと比較することにより,その知見を提示する。
この目的のために、ゲーミフィケーションの概念を用いて110人の参加者(55人のネイティブ・イングリッシュ・スピーカーと55人の非ネイティブ・イングリッシュ・スピーカー)にウェブベースのプラットフォームを提供し、40の動画(20のリアルと20のフェイク)にアクセスして真偽を判定した。
各参加者は異なるランダムな順序で同じ40の動画で2回実験を行った。
ビデオはFakeAVCelebデータセットから手動で選択される。
同じ40の動画で評価すると、すべてのAIモデルは人間より優れていることが分かりました。
この研究は、騙しは不可能ではないが、人間は検出能力を過大評価する傾向があることも明らかにした。
我々の実験結果は、人間と機械のパフォーマンスのベンチマーク、先進的な法医学的分析、適応的な対策の実現に役立つかもしれない。
関連論文リスト
- Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - Can deepfakes be created by novice users? [15.014868583616504]
先進的なコンピュータスキルを持つ参加者がDeepfakesを作れるかどうかを理解するために,ユーザスタディを実施している。
23.1%の参加者が音声とビデオで完全なDeepfakesを作成した。
私たちは、Deepfake検出ソフトウェアツールと人間の検査者に基づく分析を使用して、成功したDeepfake出力を偽、疑わしい、あるいは本物に分類します。
論文 参考訳（メタデータ） (2023-04-28T00:32:24Z) - Seeing is not always believing: Benchmarking Human and Model Perception
of AI-Generated Images [66.20578637253831]
人工知能(AI)技術の進歩が偽写真を生み出すのではないかという懸念が高まっている。
本研究の目的は、最先端のAI生成視覚コンテンツを識別するためのエージェントを包括的に評価することである。
論文 参考訳（メタデータ） (2023-04-25T17:51:59Z) - Video Manipulations Beyond Faces: A Dataset with Human-Machine Analysis [60.13902294276283]
我々は826の動画(413のリアルと413の操作)からなるデータセットであるVideoShamを提示する。
既存のディープフェイクデータセットの多くは、2種類の顔操作にのみ焦点をあてている。
我々の分析によると、最先端の操作検出アルゴリズムはいくつかの特定の攻撃に対してのみ有効であり、VideoShamではうまくスケールしない。
論文 参考訳（メタデータ） (2022-07-26T17:39:04Z) - Deepfake Caricatures: Amplifying attention to artifacts increases
deepfake detection by humans and machines [17.7858728343141]
ディープフェイクは誤報を燃やすことでデジタルウェルビーイングに深刻な脅威をもたらす。
ディープフェイクビデオのアーティファクトを増幅するフレームワークを導入し、人々がより検出できるようにする。
本稿では,ビデオアーティファクトをハイライトするアテンションマップを作成するために,人間の反応をトレーニングする,新しい半教師付きアーティファクトアテンションモジュールを提案する。
論文 参考訳（メタデータ） (2022-06-01T14:43:49Z) - Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。
我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。
本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
論文 参考訳（メタデータ） (2022-04-06T20:51:40Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳（メタデータ） (2021-12-21T01:57:04Z) - Human Perception of Audio Deepfakes [6.40753664615445]
音声のディープフェイクを検出するための人間と機械の能力を比較する。
我々の実験では、472人のユニークなユーザーが14912ラウンドで最先端のAIディープフェイク検出アルゴリズムと競合した。
人間とディープフェイク検出アルゴリズムは類似の強みと弱みを共有しており、どちらも特定の種類の攻撃を検出するのに苦労している。
論文 参考訳（メタデータ） (2021-07-20T09:19:42Z) - Detecting Deepfake Videos Using Euler Video Magnification [1.8506048493564673]
Deepfakeのビデオは、高度な機械学習技術を使ってビデオを操作している。
本稿では,ディープフェイク映像の識別技術について検討する。
提案手法では,Euler手法から抽出した特徴を用いて,偽造映像と未修正映像を分類する3つのモデルを訓練する。
論文 参考訳（メタデータ） (2021-01-27T17:37:23Z) - Deepfake detection: humans vs. machines [4.485016243130348]
クラウドソーシングのようなシナリオで実施した主観的研究で,ビデオがディープフェイクであるか否かを人間が確認することがいかに困難であるかを体系的に評価する。
各ビデオについて、簡単な質問は「ビデオの中の人物の顔は偽物か?」というものだった。
この評価は、人間の知覚が機械の知覚とは大きく異なるが、成功しても異なる方法ではディープフェイクに騙されることを示した。
論文 参考訳（メタデータ） (2020-09-07T15:20:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。