論文の概要: AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos

• arxiv url: http://arxiv.org/abs/2610.33413v1
• Date: Sat, 24 Oct 2026 03:01:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.323338
• Title: AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos
• Title（参考訳）: AV-FABLE:ロングフォームビデオにおけるオーディオ・ビジュアル・マニピュレーション・フォサイシクス
• Abstract要約: ロングフォームビデオにおける局所的なAI操作は、しばしば、他の真のコンテンツ内の短いイベントに影響を及ぼす。 AV-FABLEは、オープンシーンのロングフォーム映像におけるスパース操作のベンチマークである。
• 参考スコア（独自算出の注目度）: 23.68798551465481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Localized AI manipulations in long-form videos often affect brief events within otherwise authentic content, making video-level classification insufficient for forensic analysis. Existing audio-visual deepfake benchmarks largely focus on short talking-head clips, while long-form temporal forensics remains predominantly visual. We introduce AV-FABLE, a dual-timeline benchmark for sparse manipulations in open-scene long-form audio-visual videos. AV-FABLE contains 16,650 pristine--manipulated twin pairs (998 hours) created with 27 editing configurations, with separate audio and visual timelines that enable modality-specific temporal localization and expose errors hidden by joint-timeline evaluation. On AV-FABLE, zero-shot prompting of audio-visual large language models (AV-LLMs) yields near-chance detection and poor temporal localization. In contrast, supervised readouts of their frozen perception features recover strong forensic signals, suggesting manipulation evidence is encoded in these representations but not effectively exposed through language outputs. Motivated by this observation, we propose NFSR(Native Forensics via Separated Readouts), which reads frozen AV-LLM features with separate audio and visual temporal decoders. NFSR achieves the best audio-visual localization performance in-domain and across all three out-of-distribution settings, including transfer to held-out videos from an external long-video forensic benchmark. AV-FABLE, code, and model weights will be publicly released.
• Abstract（参考訳）: ロングフォームビデオにおける局所的なAI操作は、しばしば真正なコンテンツ内の短い出来事に影響を与えるため、法医学的な分析にはビデオレベルの分類が不十分である。 既存のオーディオ・ビジュアル・ディープフェイク・ベンチマークは主に短いトーキング・ヘッド・クリップに重点を置いている。 AV-FABLEは、オープンシーンのロングフォームビデオにおけるスパース操作のためのデュアルタイムラインベンチマークである。 AV-FABLEは、27の編集構成で作成された16,650のプリスチン操作双対(998時間)と、モーダル固有の時間的ローカライゼーションを可能にし、共同タイムライン評価によって隠されたエラーを露呈する音声と視覚のタイムラインを含む。 AV-FABLEでは、音声視覚大言語モデル(AV-LLM)のゼロショットプロンプトは、近距離検出と時間的局所性の低下をもたらす。 対照的に、凍結した知覚特徴の教師付き読み出しは、強い法医学的信号を回復し、これらの表現に操作証拠がエンコードされているが、言語出力を通して効果的に露出していないことを示唆している。 そこで本研究では,NFSR(Native Forensics via Separated Readouts)を提案する。 NFSRは、外部のロングビデオ法定ベンチマークからビデオのホールドアウトへの転送を含む、3つのアウト・オブ・ディストリビューション・セッティングで、ドメイン内で最高のオーディオ-視覚的ローカライゼーション性能を達成する。 AV-FABLE、コード、モデルウェイトが公開される。

関連論文リスト

• Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos [105.65597736594707]
  本稿では,AV-LLM(Audio-Visual Flamingo)について述べる。 主にショートクリップに焦点を当てた以前のAV-LLMとは異なり、AV-Flamingoは、長く複雑な実世界(オーディオ・ビジュアル)ビデオの理解と推論のために設計されている。
  論文  参考訳（メタデータ） (2026-07-17T16:41:15Z)
• Explainable Forensics of Manipulated Segments in Untrimmed Long Videos [50.190474724159465]
  時間的AI生成セグメンテーションの局所化と説明のタスクを定式化する。 多様な操作パターンと豊富なアノテーション信号を備えた12,472の未トリミングビデオからなる大規模ベンチマークであるTASLEを紹介する。 そこで本稿では,MLLMに基づく精密な境界ローカライゼーションと解釈可能な推論のためのリファインメントモジュールと,効率的な長ビデオスキャンのためのバウンダリ感性提案生成モジュールを組み合わせた,粗大な法医学ベースラインであるMSLocを提案する。
  論文  参考訳（メタデータ） (2026-06-01T15:48:38Z)
• LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV [39.241237759347825]
  LongAV-は、マイクロ・オーディオ・ビジュアル・ジェネレーションのための体系的なベンチマークである。 テキスト・トゥ・オーディオ・ビデオ(T2AV)、画像・トゥ・オーディオ・ビデオ(I2AV)、ビデオ・トゥ・オーディオ・ビデオ(V2AV)にまたがる284のテストケースで構成されている。 このフレームワークは、音質、断面積の整合性、大域的な物語のコヒーレンス、セマンティックアライメント、オーディオ視覚アライメントをカバーする20以上のきめ細かい寸法を評価する。
  論文  参考訳（メタデータ） (2026-05-25T18:12:09Z)
• Revisiting Audio-Visual Segmentation with Vision-Centric Transformer [60.83798235788669]
  AVS (Audio-Visual) は、オーディオ信号に基づいて、映像フレームに音声を生成するオブジェクトを分割することを目的としている。 本稿では,視覚由来の問合せを利用して,対応する音声や視覚情報を反復的に取得する視覚中心変換フレームワークを提案する。 我々のフレームワークは,AVSBenchデータセットの3つのサブセット上で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-06-30T08:40:36Z)
• Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding [36.20990265600332]
  PU-VALORは114,000本以上の擬似アンリム化ビデオと詳細な時間的アノテーションを含む包括的オーディオ視覚データセットである。 PU-VALORは、イベントベースのビデオクラスタリングを含む微妙な方法で、大規模だが粗い注釈付きオーディオ視覚データセットVALORから派生した。 AVicunaは、音声・視覚イベントを時間間隔と対応するテキストトークンに整列できるモデルである。
  論文  参考訳（メタデータ） (2024-03-24T19:50:49Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• Towards Video Anomaly Retrieval from Video Anomaly Detection: New Benchmarks and Model [70.97446870672069]
  ビデオ異常検出(VAD)はその潜在的な応用により注目されている。 Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。 一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-07-24T06:22:37Z)
• Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
  人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。 ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
  論文  参考訳（メタデータ） (2023-02-15T15:00:55Z)
• Self-Supervised Video Forensics by Audio-Visual Anomaly Detection [19.842795378751923]
  操作されたビデオには、視覚信号と音声信号の間に微妙な矛盾があることが多い。 本稿では,これらの不整合を識別できる異常検出に基づくビデオ法医学手法を提案する。 ビデオフレームと音声の時間同期をキャプチャする特徴セットを用いて、自動回帰モデルを訓練し、音声・視覚的特徴のシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-01-04T18:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。