論文の概要: Stop My Dancing! Understanding, Detecting and Attributing Motion-Aware Deepfake Videos
- arxiv url: http://arxiv.org/abs/2610.11496v2
- Date: Mon, 12 Oct 2026 05:26:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.751383
- Title: Stop My Dancing! Understanding, Detecting and Attributing Motion-Aware Deepfake Videos
- Title(参考訳): ダンスをやめて! モーション対応のディープフェイクビデオの理解、検出、帰結
- Abstract要約: 擬似誘導拡散モデルにより、人間の動きの全体像を合成し、新しい種類のディープフェイクを発生させることができる。
我々は,1,363のリアルビデオと30,122の合成ビデオを組み合わせた150万フレーム以上のMAD固有のベンチマークと測定フレームワークを構築した。
我々は,MADビデオの検出と属性付けに適した最初の防衛フレームワークであるMoDAを提案する。
- 参考スコア(独自算出の注目度): 19.15601097277677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pose-guided diffusion models can now synthesize entire human figures in motion, spawning a new class of deepfakes: Motion Aware Deepfake (MAD) that have already reached hundreds of millions of viewers. To better understand this emerging threat, we construct the first MAD-specific benchmark and measurement framework, containing over 1.5 million frames that mix 1,363 real and 30,122 synthetic videos from six controllable generators, with realistic perturbations and open-world evaluation splits. Then, we dissect MAD and discover that, despite their global coherence, these videos betray faint yet reliable cues: because the model relies on limited input frames for motion synthesis, it must predict and simulate coherent movement at motion boundaries, thereby producing high-frequency artifacts along with model-specific spectral fingerprints. Based on the observations obtained from analysis on dataset, we propose MoDA, the first defense framework tailored to detect and attribute MAD videos. MoDA couples spatial semantics with steganalysis-rich frequency features via cross-domain alignment and multi-scale aggregation, achieving 94.8% in-distribution and 89.1% cross-dataset detection accuracy gains of 10% to 25% over prior work and 91.5% model attribution accuracy. MoDA achieves 81.94% accuracy on 200 clips produced by two unseen commercial MAD platforms, indicating promising zero-shot transfer, and 78.13% detection accuracy on 1,200 unseen MAD video clips (55k frames in total) collected from the open Internet. Under white-box, gray-box, and black-box adaptive attacks, MoDA maintains relatively stable detection and attribution performance while the accuracies of the baselines drop rapidly.
- Abstract(参考訳): モーション・アウェア・ディープフェイク(MAD: Motion Aware Deepfake)は、すでに数億の視聴者に到達している。
この新たな脅威をよりよく理解するために、我々は最初のMAD固有のベンチマークと測定フレームワークを構築し、150万以上のフレームを含み、6つの制御可能なジェネレータから1,363本と30,122本の合成ビデオを合成し、現実的な摂動とオープンワールド評価の分割を含む。
そして、MADを識別し、これらのビデオは、そのグローバルなコヒーレンスにもかかわらず、不確実で信頼性の低いキューを裏切る。このモデルは、モーション合成のための限られた入力フレームに依存しているため、動き境界におけるコヒーレントな動きを予測し、シミュレートし、モデル固有の指紋とともに高頻度の人工物を生成する必要がある。
データセットの分析から得られた知見に基づいて,MADビデオの検出と属性付けに適した最初の防衛フレームワークであるMoDAを提案する。
MoDAは、クロスドメインアライメントとマルチスケールアグリゲーションを通じて、ステガナリシスに富んだ周波数特徴と空間的セマンティクスを結合し、94.8%の分散と89.1%のクロスデータセット検出精度を前処理で10%から25%、91.5%のモデル属性精度で達成した。
MoDAは、2つの商用MADプラットフォームが生成した200本のクリップに対して81.94%の精度を達成し、オープンインターネットから収集された1200本のMADビデオクリップ(合計55Kフレーム)において78.13%の精度でゼロショット転送が期待できることを示している。
ホワイトボックス、グレーボックス、ブラックボックス適応攻撃では、ベースラインの精度が急速に低下する一方、MoDAは比較的安定した検出と属性性能を維持している。
関連論文リスト
- ManiVid: Unified and Explainable Forensic Analysis of Manipulated Videos [60.4387978957979]
マニヴィッド(ManiVid)は、偽造検出、アーティファクトの接地、操作されたビデオの異常な説明を含む統一的な法医学的分析タスクである。
ManiVid-38Kは、一般的なビデオのローカライズされた操作を、認証ラベル、偽装マスク、異常説明と組み合わせた最初のデータセットである。
ManiVidLensはマルチモーダル推論とビデオセグメンテーションのための低レベルの法医学的証拠を共有している。
論文 参考訳(メタデータ) (2026-09-25T07:51:50Z) - AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction [14.556446786016787]
AcrossVAM1.0は、将来の予測をオブジェクト中心の動きと高密度な外観に分解する軽量なテキスト支援ビデオアクションモデルである。
因果的デュアルストリームデコーダは、最後のフレームからのみ符号化された外観とパーティクルレンダリングされた動きを結合する。
多様な実ロボット軌道から構築したVRSベンチマークでは、粒子動力学は持続性よりも誤差を21.0%削減する。
論文 参考訳(メタデータ) (2026-08-28T16:19:24Z) - CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳(メタデータ) (2026-06-20T10:33:14Z) - SYNCR: A Cross-Video Reasoning Benchmark with Synthetic Grounding [20.256916516259782]
MLLM(Multimodal Large Language Models)は、シングルビデオ理解において急速に進歩しているが、複数の独立したビデオストリームをまたいで推論する能力はいまだによく分かっていない。
そこで,SynCRは,地上検定によるクロスビデオ推論のための制御された総合的ベンチマークである。
オープンおよびクローズドウェイトMLLMのゼロショット評価は、現在のモデルと人間の間に大きなギャップがあることを明らかにする。
論文 参考訳(メタデータ) (2026-05-08T19:20:23Z) - MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video [12.636232510548062]
マスク付き自動符号化に基づく人物ポーズ推定手法であるMAEPoseについて述べる。
厳密な統計的検査により,3つのデータセットにまたがるMAEPoseの評価を行った。
論文 参考訳(メタデータ) (2026-04-30T21:23:03Z) - Structure From Tracking: Distilling Structure-Preserving Motion for Video Generation [76.04880323498598]
自己回帰動画追跡モデル(SAM2)から双方向ビデオ拡散モデル(CogVideoX)へ構造保存動作先行情報を抽出するアルゴリズムを提案する。
VBenchと人間の研究ではSAM2VideoXが一貫した利益をもたらすことが示されている。
論文 参考訳(メタデータ) (2025-12-12T18:56:35Z) - Time-Series at the Edge: Tiny Separable CNNs for Wearable Gait Detection and Optimal Sensor Placement [3.7765281299298015]
我々は,3軸加速度の短い窓から発生するパーキンソン病(PD)の歩行検出のためのデバイス上での時系列解析について検討した。
1つの文献ベースライン(分離可能な畳み込み)と2つのウルトラライトモデル(純粋に分離可能なもの)である。
論文 参考訳(メタデータ) (2025-11-29T08:52:41Z) - Physics-Guided Motion Loss for Video Generation Model [8.083315267770255]
現在のビデオ拡散モデルは視覚的に魅力的なコンテンツを生成するが、物理の基本法則に反することが多い。
モデルアーキテクチャを変更することなく、動きの可視性を向上する周波数領域物理を導入する。
論文 参考訳(メタデータ) (2025-06-02T20:42:54Z) - PMI Sampler: Patch Similarity Guided Frame Selection for Aerial Action
Recognition [52.78234467516168]
本稿では、隣接フレーム間の動きバイアスを定量化するために、パッチ相互情報(PMI)スコアの概念を導入する。
シフトリークReLuと累積分布関数を用いた適応フレーム選択方式を提案する。
本手法は,UAV-Humanの2.2~13.8%,NEC Droneの6.8%,Diving48データセットの9.0%の相対的な改善を実現している。
論文 参考訳(メタデータ) (2023-04-14T00:01:11Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳(メタデータ) (2022-10-11T08:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。