論文の概要: AVC-Reward: Event-Centric Audio-Video Consistency Evaluation

• arxiv url: http://arxiv.org/abs/2610.22321v1
• Date: Thu, 15 Oct 2026 17:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.248308
• Title: AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
• Title（参考訳）: AVC-Reward:イベント中心のオーディオビデオ一貫性の評価
• Abstract要約: ジョイントオーディオ・ビデオ生成モデルがより有能になるにつれて、3種類の複雑さを示すオーディオ・ビジュアルシーンを生成することができる。 本稿では,イベントレベルでの音声および視覚イベントのアンタングルを解消し,個々のイベントを独立に分析し,モダリティ間の関係を相互に検証し,整合性尺度に判断を集約するイベント中心評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.44144507645846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As joint audio-video generation models become more capable, they can generate audio-visual scenes exhibiting three forms of complexity: multi-event composition, multi-layer audio mixture, and asymmetric cross-modal relations. However, current evaluations largely reuse metrics from earlier simple and unidirectional tasks. They typically evaluate an audio-video clip as a whole and rely on simple predefined relations, making them unsuitable for these increasingly complex scenes. We propose an event-centric evaluation framework that disentangles audio and visual events at the event level, analyzes each event independently, cross-validates relations across modalities, and aggregates the judgments into a coarse-to-fine, three-level consistency metric. The metric assesses global narrative harmony, event-level temporal synchronization, and fine-grained attribute alignment, providing a general formulation for audio-video consistency evaluation across diverse generation settings and cross-modal relations. We instantiate the metric as AVC-Reward, a trainable audio-video reward model. To evaluate the agreement between automatic judgments and human perception across generation paradigms and relation complexities, we construct AVC-Benchmark, which is primarily built from diverse positive and negative samples generated by various types of audio-video generation models. AVC-Reward achieves state-of-the-art alignment with human judgment among automatic methods, provides interpretable rationales that localize failures, and improves the audio-video consistency of a joint generation model when used as an online reinforcement-learning signal. Project page: https://tsuki0512.github.io/AVC-Reward.github.io/
• Abstract（参考訳）: ジョイントオーディオ・ビデオ生成モデルがより有能になるにつれて、マルチイベント合成、多層オーディオ混合、非対称なクロスモーダル関係の3種類の複雑さを示すオーディオ・ビジュアルシーンを生成することができる。 しかし、現在の評価は、以前の単純かつ一方向のタスクからメトリクスを主に再利用している。 彼らは通常、オーディオビデオクリップ全体を評価し、単純な事前定義された関係に依存しているため、ますます複雑なシーンには適さない。 本稿では,イベントレベルでの音声や視覚イベントのアンタングルを解消し,個々のイベントを独立に分析し,モダリティ間の関係を相互に検証し,その判断を粗い3段階の一貫性尺度に集約するイベント中心評価フレームワークを提案する。 この尺度は、グローバルな物語の調和、事象レベルの時間的同期、微粒な属性アライメントを評価し、様々な世代設定と相互関係をまたいだオーディオ・ビデオの整合性評価のための一般的な定式化を提供する。 AVC-Rewardはトレーニング可能なオーディオビデオ報酬モデルである。 生成パラダイムと関係複雑度をまたいだ自動判断と人間の知覚の一致を評価するために,様々なタイプのオーディオビデオ生成モデルによって生成される様々な正負のサンプルから構築されたAVC-Benchmarkを構築した。 AVC-Rewardは、自動的な方法による人間の判断と最先端の整合性を実現し、障害をローカライズする解釈可能な論理式を提供し、オンライン強化学習信号として使用する場合の関節生成モデルのオーディオ・ビデオ整合性を改善する。 プロジェクトページ:https://tsuki0512.github.io/AVC-Reward.github.io/

関連論文リスト

• SyncRA: Learning Temporal Correspondence in Omni-Modal Models [4.652935587195116]
  音声と視覚の時間的対応を強化する軽量なSyncRAを提案する。 5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。
  論文  参考訳（メタデータ） (2026-09-28T05:40:09Z)
• StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation [48.448082116311156]
  StreamAV-Benchは、ストリーミングオーディオビデオ生成用に調整された最初の包括的なベンチマークである。 解析の結果,現在のモデルでは,対話制御時の進行的生成と応答性のボトルネックが時間的変動に悩まされていることが明らかとなった。 包括的故障解析に基づいて、ネイティブな共同音声-ビデオストリーミングモデルの開発を進めるための洞察を共有する。
  論文  参考訳（メタデータ） (2026-08-26T19:16:24Z)
• VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
  共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。 VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-19T06:53:14Z)
• VABench: A Comprehensive Benchmark for Audio-Video Generation [22.00633729850902]
  VABenchは、同期オーディオビデオ生成の機能を評価するために設計されたベンチマークフレームワークである。 タスクタイプは、text-to-audio-video (T2AV)、 Image-to-audio-video (I2AV)、ステレオオーディオビデオ生成の3種類である。 VABenchは、動物、人間の音、音楽、環境音、同期物理音、複雑なシーン、バーチャルワールドの7つの主要なコンテンツカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2025-12-10T03:57:29Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• Audio-Visual Synchronisation in the wild [149.84890978170174]
  我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
  論文  参考訳（メタデータ） (2021-12-08T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。