Fugu-MT 論文翻訳(概要): Visual Realism Assessment for Face-swap Videos

論文の概要: Visual Realism Assessment for Face-swap Videos

arxiv url: http://arxiv.org/abs/2302.00918v2
Date: Sun, 30 Jul 2023 16:54:06 GMT
ステータス: 処理完了
システム内更新日: 2023-08-01 23:46:28.672378
Title: Visual Realism Assessment for Face-swap Videos
Title（参考訳）: フェイススワップ映像の視覚リアリズム評価
Authors: Xianyun Sun, Beibei Dong, Caiyong Wang, Bo Peng, Jing Dong
Abstract要約: 視覚リアリズムアセスメント(VRA)は、特定のフェイススワップビデオによってもたらされる潜在的な影響を評価するために不可欠である。本稿では,異なる自動VRAモデルの有効性を評価するベンチマークを構築することで,この新たなVRAに向けて小さな一歩を踏み出す。
参考スコア（独自算出の注目度）: 8.84381833067942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep-learning based face-swap videos, also known as deep fakes, are becoming more and more realistic and deceiving. The malicious usage of these face-swap videos has caused wide concerns. The research community has been focusing on the automatic detection of these fake videos, but the assessment of their visual realism, as perceived by human eyes, is still an unexplored dimension. Visual realism assessment, or VRA, is essential for assessing the potential impact that may be brought by a specific face-swap video, and it is also important as a quality assessment metric to compare different face-swap methods. In this paper, we make a small step towards this new VRA direction by building a benchmark for evaluating the effectiveness of different automatic VRA models, which range from using traditional hand-crafted features to different kinds of deep-learning features. The evaluations are based on a recent competition dataset named DFGC 2022, which contains 1400 diverse face-swap videos that are annotated with Mean Opinion Scores (MOS) on visual realism. Comprehensive experiment results using 11 models and 3 protocols are shown and discussed. We demonstrate the feasibility of devising effective VRA models for assessing face-swap videos and methods. The particular usefulness of existing deepfake detection features for VRA is also noted. The code can be found at https://github.com/XianyunSun/VRA.git.
Abstract（参考訳）: ディープラーニングベースのフェイススワップビデオは、ディープフェイク(deep fakes)としても知られ、ますます現実的になりつつある。これらの顔スワップビデオの悪質な利用は、幅広い懸念を引き起こした。研究コミュニティは、これらの偽ビデオの自動検出に力を入れているが、人間の目が知覚する視覚リアリズムの評価はまだ未調査の次元である。視覚リアリズムアセスメント(VRA)は、特定のフェイススワップビデオによってもたらされる潜在的な影響を評価するために不可欠であり、異なるフェイススワップ手法を比較するための品質評価指標としても重要である。本稿では,従来の手作り機能からさまざまなディープラーニング機能まで,さまざまな自動VRAモデルの有効性を評価するベンチマークを構築することで,この新たなVRA方向への小さな一歩を踏み出す。評価はdfgc 2022と呼ばれる最近のコンペティションデータセットに基づいており、1400の多様なフェイススワップビデオが含まれており、視覚リアリズムに平均意見スコア(mos)を付けている。 11のモデルと3つのプロトコルを用いた包括的な実験結果を示し,考察した。フェース・スワップ・ビデオと手法の評価に有効なVRAモデルの開発の可能性を示す。既存のVRAのディープフェイク検出機能の有用性も注目に値する。コードはhttps://github.com/xianyunsun/vra.gitにある。

関連論文リスト

Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文参考訳（メタデータ） (2024-10-10T13:10:34Z)
Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
論文参考訳（メタデータ） (2024-09-17T04:58:30Z)
What Matters in Detecting AI-Generated Videos like Sora? [51.05034165599385]
合成ビデオと現実世界のビデオのギャップは、まだ未発見のままだ。本研究では,現在最先端のAIモデルであるStable Video Diffusionによって生成された実世界の映像を比較した。我々のモデルは、訓練中にSoraのビデオに露出することなく、Soraが生成した映像を高精度に検出することができる。
論文参考訳（メタデータ） (2024-06-27T23:03:58Z)
HomE: Homography-Equivariant Video Representation Learning [62.89516761473129]
マルチビュービデオの表現学習のための新しい手法を提案する。提案手法は異なる視点間の暗黙的なマッピングを学習し,近隣の視点間のホモグラフィ関係を維持する表現空間を決定づける。動作分類では,UCF101データセットの96.4%の3倍精度が得られた。
論文参考訳（メタデータ） (2023-06-02T15:37:43Z)
Video Manipulations Beyond Faces: A Dataset with Human-Machine Analysis [60.13902294276283]
我々は826の動画(413のリアルと413の操作)からなるデータセットであるVideoShamを提示する。既存のディープフェイクデータセットの多くは、2種類の顔操作にのみ焦点をあてている。我々の分析によると、最先端の操作検出アルゴリズムはいくつかの特定の攻撃に対してのみ有効であり、VideoShamではうまくスケールしない。
論文参考訳（メタデータ） (2022-07-26T17:39:04Z)
Model Attribution of Face-swap Deepfake Videos [39.771800841412414]
まず、いくつかのAutoencoderモデルに基づいて、DeepFakes from Different Models (DFDM)を用いた新しいデータセットを導入する。具体的には、エンコーダ、デコーダ、中間層、入力解像度、圧縮比の5つの世代モデルを用いて、合計6450のDeepfakeビデオを生成する。我々は,Deepfakesモデルの属性を多クラス分類タスクとして捉え,Deepfakes間の差異を探索するための空間的・時間的注意に基づく手法を提案する。
論文参考訳（メタデータ） (2022-02-25T20:05:18Z)
Video Transformer for Deepfake Detection with Incremental Learning [11.586926513803077]
ディープフェイクによる顔の偽造はインターネットに広く浸透しており、これが深刻な社会的懸念を引き起こす。本稿では,ディープフェイクビデオを検出するためのインクリメンタル学習を備えた新しいビデオトランスフォーマーを提案する。
論文参考訳（メタデータ） (2021-08-11T16:22:56Z)
JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
ビデオにおける教師なしの動作はディープ・ニューラル・ネットワークによって大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
論文参考訳（メタデータ） (2021-06-17T17:32:32Z)
What's wrong with this video? Comparing Explainers for Deepfake Detection [13.089182408360221]
Deepfakesは、個人の顔が別の顔に置き換えられたコンピュータ操作されたビデオです。本研究では,実映像と偽動画のラベル付けを説明するために,ホワイトボックス,ブラックボックス,モデル固有の手法を開発し,拡張し,比較する。特に,shap,gradcam,self-attentionモデルを用いて,高効率ネットに基づく最先端検出器の予測を説明する。
論文参考訳（メタデータ） (2021-05-12T18:44:39Z)
ID-Reveal: Identity-aware DeepFake Video Detection [24.79483180234883]
ID-Reveal(ID-Reveal)は、時間的顔の特徴を学習する新しいアプローチだ。偽物のトレーニングデータは必要ありませんが、実際のビデオでトレーニングするだけです。高圧縮映像における顔再現の精度は平均15%以上向上した。
論文参考訳（メタデータ） (2020-12-04T10:43:16Z)
Detecting Face2Face Facial Reenactment in Videos [76.9573023955201]
本研究では,再現性に基づく変化を検出する学習に基づくアルゴリズムを提案する。提案アルゴリズムは,局所的なアーティファクトを学習し,様々な圧縮レベルで堅牢な性能を提供するマルチストリームネットワークを用いている。その結果, 99.96%, 99.10%, 91.20%の非, 容易, 硬度圧縮係数が得られた。
論文参考訳（メタデータ） (2020-01-21T11:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。