論文の概要: MTOR: Generalizable AI-Generated Video Detection with Multimodal Semantics and Temporal Over-Regularity
- arxiv url: http://arxiv.org/abs/2610.06378v1
- Date: Mon, 05 Oct 2026 14:09:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 08:47:36.14458
- Title: MTOR: Generalizable AI-Generated Video Detection with Multimodal Semantics and Temporal Over-Regularity
- Title（参考訳）: MTOR:マルチモーダル・セマンティックスとテンポラル・オーバー規則性を用いた汎用AI生成ビデオ検出
- Abstract要約: 既存の検出器は主に視覚表現に依存しており、キャプション由来のテキスト意味論は未発見のままである。
字幕由来のテキスト表現は,グローバルな視覚表現に相補的な識別手段を提供する。
我々の分析により、AI生成ビデオは時間的持続性と時間的変動がより強く、時間的過規則性(TOR)と呼ばれるパターンを示すことが明らかとなった。
- 参考スコア（独自算出の注目度）: 44.13741922118129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid evolution of video generation has narrowed the perceptual gap between authentic and synthetic videos, making generalizable AI-generated video detection increasingly challenging. Existing detectors predominantly rely on visual representations, leaving caption-derived textual semantics underexplored. Meanwhile, temporal regularity in fine-grained visual representations has received limited attention. We find that caption-derived textual representations provide complementary discriminative cues to global visual representations. Our analysis further reveals that AI-generated videos exhibit stronger temporal persistence and lower temporal variability, a pattern we term temporal over-regularity (TOR). Based on these findings, we propose MTOR with a multimodal branch and a TOR component. The multimodal branch integrates global visual and caption-derived textual representations, while the TOR component models temporal over-regularity at three levels: coarse inter-frame continuity, fine-grained token correspondence, and frame-to-video stability. Extensive evaluations on five benchmarks covering 46 generator variants demonstrate state-of-the-art overall performance against 16 representative baselines, while robustness experiments confirm strong resilience to twelve real-world video perturbations. Code and models will be released at https://github.com/hwang-cs-ime/MTOR.
- Abstract（参考訳）: ビデオ生成の急速な進化は、本物と合成ビデオの間の知覚的ギャップを狭め、一般化可能なAI生成ビデオ検出をますます困難にしている。
既存の検出器は主に視覚的表現に依存しており、キャプション由来のテキスト意味論は未発見のままである。
一方、きめ細かい視覚表現の時間的規則性には注意が向けられている。
字幕由来のテキスト表現は,グローバルな視覚表現に相補的な識別手段を提供する。
我々の分析により、AI生成ビデオは時間的持続性と時間的変動性の低下を示すことが明らかとなり、このパターンは時間的過規則性(TOR)と呼ばれる。
これらの知見に基づき,マルチモーダル分岐とTOR成分を用いたMTORを提案する。
マルチモーダルブランチは、グローバルなビジュアルおよびキャプション由来のテキスト表現を統合し、TORコンポーネントは、粗いフレーム間連続性、きめ細かいトークン対応、フレーム間安定性の3つのレベルで時間的過正規性をモデル化する。
46種類のジェネレータを対象とする5つのベンチマークの大規模な評価は、16の代表的なベースラインに対する最先端の全体的な性能を示し、ロバストネス実験は12の実世界のビデオ摂動に対する強い抵抗性を証明している。
コードとモデルはhttps://github.com/hwang-cs-ime/MTOR.comでリリースされる。
関連論文リスト
- TRACE: Trajectory Representation and Consistency Estimation for AI-Generated Video Detection [20.26710107725441]
事前訓練された生成モデルに対する応答が、より伝達可能な法医学的手がかりを提供するかどうかを検討する。
我々は,AI生成ビデオ検出のための世代プロセス対応フレームワークである textbfTRACE (EmphunderlineTrajectory UnderlineRepresentation underlineand UnderlineEstimation) を提案する。
論文 参考訳（メタデータ） (2026-09-22T07:11:25Z) - Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval [59.55233913340214]
ビデオ言語モデルは、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。
反応拡散過程としてビデオ言語アライメントを再現する新しいフレームワークである textbfReaction-Diffusion Multimodal Fusion (RDMF) を提案する。
予備実験は、有能なビデオモーメントを識別する既存の手法より優れている可能性を実証している。
論文 参考訳（メタデータ） (2026-06-01T03:02:35Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - Towards multi-modal forgery representation learning for AI-generated video detection and localization [8.396379868583718]
AI生成ビデオは、意味的歪みと誤用のリスクをエスカレートする。
既存のAI生成ビデオ検出器の多くは、データモデリングの単一または部分モダリティによって制限されている。
本稿では,LMMセマンティックブランチと時間的ビデオ(ST)ビジュアルブランチ,マルチスケール部分スプーフ(PS)オーディオブランチを統合したコアアーキテクチャを提案する。
このマルチモーダルアプローチは、部分的に操作されたAI生成ビデオの同時検出と微細な時間的局所化を可能にする。
論文 参考訳（メタデータ） (2026-05-08T04:35:50Z) - Detecting AI-Generated Videos with Spiking Neural Networks [26.67301552503132]
我々は,クロスジェネレータ評価のための冷凍セマンティックエンコーダとともに,スパイク駆動の時間枝で多チャンネル時間残差を処理する検出器であるMASTを提案する。
GenVideoベンチマークでは、MASTは厳密なクロスジェネレータ評価の下で10個の未確認発電機で93.14%の平均精度を達成した。
論文 参考訳（メタデータ） (2026-05-07T09:08:32Z) - CMTA: Leveraging Cross-Modal Temporal Artifacts for Generalizable AI-Generated Video Detection [45.739302264021795]
ビデオ合成技術は、デジタル認証にとって前例のない挑戦である。
クロスモーダル時間的アーティファクト(CMTA)における特異な指紋の同定
本稿では、これらのユニークな時間的アーティファクトをキャプチャするクロスモーダル検出手法であるCMTAフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-01T13:04:14Z) - ATSS: Detecting AI-Generated Videos via Anomalous Temporal Self-Similarity [44.13741922118129]
異時性自己相似性(ATSS)と呼ばれるAIGVの特異な指紋を同定する。
我々は,この知見を三重相似表現と相互共役融合機構によって活用する多モーダル検出フレームワークATSSを提案する。
ATSSはAP、AUC、ACCの指標で最先端の手法を大幅に上回っている。
論文 参考訳（メタデータ） (2026-04-05T09:10:13Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。