論文の概要: Hindi audio-video-Deepfake (HAV-DF): A Hindi language-based Audio-video Deepfake Dataset

• arxiv url: http://arxiv.org/abs/2411.15457v1
• Date: Sat, 23 Nov 2024 05:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:31.220552
• Title: Hindi audio-video-Deepfake (HAV-DF): A Hindi language-based Audio-video Deepfake Dataset
• Title（参考訳）: Hindi Audio-Video-Deepfake (HAV-DF): ヒンディー語に基づくオーディオビデオDeepfakeデータセット
• Authors: Sukhandeep Kaur, Mubashir Buhari, Naman Khandelwal, Priyansh Tyagi, Kiran Sharma,
• Abstract要約: ヒンディー語でのフェイクビデオやスピーチは、農村部や半都市部に多大な影響を及ぼす可能性がある。 本論文は,Hindi Audio-video-Deepfake'(HAV-DF)という,ヒンディー語による新しいディープフェイクデータセットを作成することを目的とする。
• 参考スコア（独自算出の注目度）: 11.164272928464879
• License:
• Abstract: Deepfakes offer great potential for innovation and creativity, but they also pose significant risks to privacy, trust, and security. With a vast Hindi-speaking population, India is particularly vulnerable to deepfake-driven misinformation campaigns. Fake videos or speeches in Hindi can have an enormous impact on rural and semi-urban communities, where digital literacy tends to be lower and people are more inclined to trust video content. The development of effective frameworks and detection tools to combat deepfake misuse requires high-quality, diverse, and extensive datasets. The existing popular datasets like FF-DF (FaceForensics++), and DFDC (DeepFake Detection Challenge) are based on English language.. Hence, this paper aims to create a first novel Hindi deep fake dataset, named ``Hindi audio-video-Deepfake'' (HAV-DF). The dataset has been generated using the faceswap, lipsyn and voice cloning methods. This multi-step process allows us to create a rich, varied dataset that captures the nuances of Hindi speech and facial expressions, providing a robust foundation for training and evaluating deepfake detection models in a Hindi language context. It is unique of its kind as all of the previous datasets contain either deepfake videos or synthesized audio. This type of deepfake dataset can be used for training a detector for both deepfake video and audio datasets. Notably, the newly introduced HAV-DF dataset demonstrates lower detection accuracy's across existing detection methods like Headpose, Xception-c40, etc. Compared to other well-known datasets FF-DF, and DFDC. This trend suggests that the HAV-DF dataset presents deeper challenges to detect, possibly due to its focus on Hindi language content and diverse manipulation techniques. The HAV-DF dataset fills the gap in Hindi-specific deepfake datasets, aiding multilingual deepfake detection development.
• Abstract（参考訳）: Deepfakesはイノベーションと創造性に大きな可能性を提供しますが、プライバシ、信頼、セキュリティにも大きなリスクをもたらします。 インドはヒンディー語話者が多いため、特にディープフェイクによる誤報キャンペーンに弱い。 ヒンディー語でのフェイクビデオやスピーチは、デジタルリテラシーが低くなり、人々はビデオコンテンツを信頼する傾向にある農村部や半アーバンのコミュニティに多大な影響を与える可能性がある。 ディープフェイクの誤用に対処するための効果的なフレームワークと検出ツールの開発には、高品質で多種多様なデータセットが必要である。 FF-DF(FaceForensics++)やDFDC(DeepFake Detection Challenge)といった既存の一般的なデータセットは、英語に基づいている。 と。 そこで本稿は,Hindi Audio-video-Deepfake' (HAV-DF) という,Hindi Deep fake data を初めて作成することを目的とする。 データセットは、フェイスワップ、リプシン、音声クローニング手法を用いて生成される。 この多段階のプロセスにより、ヒンディー語と表情のニュアンスをキャプチャし、ヒンディー語コンテキストにおけるディープフェイク検出モデルのトレーニングと評価のための堅牢な基盤を提供する、リッチで多様なデータセットを作成することができる。 これまでのデータセットには、ディープフェイクビデオや合成オーディオが含まれていた。 このタイプのディープフェイクデータセットは、ディープフェイクビデオとオーディオデータセットの両方の検出器のトレーニングに使用することができる。 特に,新たに導入されたHAV-DFデータセットでは,HeadposeやXception-c40など,既存の検出メソッド間の検出精度の低下が示されている。 他のよく知られたデータセット FF-DF や DFDC と比較する。 この傾向は、HAV-DFデータセットが、ヒンディー語の内容と多様な操作技術に重点を置いているため、検出すべきより深い課題を提示していることを示唆している。 HAV-DFデータセットは、ヒンディー語固有のディープフェイクデータセットのギャップを埋め、多言語ディープフェイク検出の開発を支援する。

関連論文リスト

• The First Swahili Language Scene Text Detection and Recognition Dataset [55.83178123785643]
  低リソース言語、特にスワヒリ語には大きなギャップがある。 スワヒリ語は東アフリカ諸国で広く話されているが、依然としてシーンテキスト認識において未発見言語である。 本研究では,スワヒリシーンのテキスト画像の包括的データセットを提案し,異なるシーンのテキスト検出および認識モデルに基づくデータセットの評価を行う。
  論文  参考訳（メタデータ） (2024-05-19T03:55:02Z)
• DeePhy: On Deepfake Phylogeny [58.01631614114075]
  DeePhyは、新しいDeepfake Phylogenyデータセットである。 6つのディープフェイク検出アルゴリズムを用いて,DeePhyデータセットのベンチマークを示す。
  論文  参考訳（メタデータ） (2022-09-19T15:30:33Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)
• Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
  既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-03-04T09:08:50Z)
• Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors [18.862258543488355]
  ディープフェイクはセキュリティとプライバシーの問題を引き起こす可能性がある。 ディープラーニング技術を使って人間の声をクローンする新しい領域も登場しつつある。 優れたディープフェイク検出器を開発するには、複数のモードのディープフェイクを検出する検出器が必要である。
  論文  参考訳（メタデータ） (2021-09-07T11:00:20Z)
• FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset [21.199288324085444]
  近年,人間の声のクローン化や合成という新たな課題が表面化しつつある。 ディープフェイクビデオとオーディオを使った偽造攻撃の脅威が高まっているため、ビデオとオーディオの両方に焦点を当てた新しいディープフェイク検知器が求められている。 本稿では, ディープフェイク映像だけでなく, 合成音声も含む新しいオーディオ・ビデオ・ディープフェイク・データセット(FakeAVCeleb)を提案する。
  論文  参考訳（メタデータ） (2021-08-11T07:49:36Z)
• Half-Truth: A Partially Fake Audio Detection Dataset [60.08010668752466]
  本稿では半真性音声検出(HAD)のためのデータセットを開発する。 HADデータセットの部分的に偽の音声は、発話中の数単語だけを変更する。 我々は、偽のユトランを検知するだけでなく、このデータセットを用いて音声中の操作された領域をローカライズする。
  論文  参考訳（メタデータ） (2021-04-08T08:57:13Z)
• KoDF: A Large-scale Korean DeepFake Detection Dataset [9.493398442214865]
  face-swapとface-reenactmentを総称してdeepfakesと呼ばれるようになった。 私達は韓国の主題に焦点を合わせる合成され、実質のビデオの大規模なコレクションである韓国のDeepFakeの検出のデータセット(KoDF)を、造りました。 本稿では,データセット構築に使用する手法の詳細を説明し,kodfの分布と既存のdeepfake検出データセットとの差異を実験的に示すとともに,実世界の一般化に複数のデータセットを使用することの重要性を強調する。
  論文  参考訳（メタデータ） (2021-03-18T09:04:02Z)
• WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection [82.42495493102805]
  我々は,インターネットから完全に収集された707のディープフェイクビデオから抽出された7,314の顔シーケンスからなる新しいデータセットWildDeepfakeを紹介した。 既存のWildDeepfakeデータセットと我々のWildDeepfakeデータセットのベースライン検出ネットワークを体系的に評価し、WildDeepfakeが実際により困難なデータセットであることを示す。
  論文  参考訳（メタデータ） (2021-01-05T11:10:32Z)
• The DeepFake Detection Challenge (DFDC) Dataset [8.451007921188019]
  Deepfakesは、誰でも一つのビデオで2つのIDを交換できるテクニックだ。 この新たな脅威に対処するため、私たちは非常に大きな顔スワップビデオデータセットを構築しました。 記録されたすべての被験者は、顔障害者データセットの構築中にその類似性を変更し、参加することに同意した。
  論文  参考訳（メタデータ） (2020-06-12T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。