論文の概要: LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV
- arxiv url: http://arxiv.org/abs/2605.26244v1
- Date: Mon, 25 May 2026 18:12:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.307802
- Title: LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV
- Title（参考訳）: LongAV-Compass:T2AV, I2AV, V2AV間の微小スケールオーディオ・ビジュアル・ジェネレーションの統一評価に向けて
- Authors: Tengfei Liu, Yang Shi, Xuanyu Zhu, Jiafu Tang, Liu Yang, Qixun Wang, Zhuoran Zhang, Yuqi Tang, Fengxiang Wang, Yuhao Dong, Xinlong Chen, Bozhou Li, Bohan Zeng, Yue Ding, Xiaohan Zhang, Jialu Chen, Haotian Wang, Yuanxing Zhang, Pengfei Wan, Leye Wang,
- Abstract要約: LongAV-は、マイクロ・オーディオ・ビジュアル・ジェネレーションのための体系的なベンチマークである。
テキスト・トゥ・オーディオ・ビデオ(T2AV)、画像・トゥ・オーディオ・ビデオ(I2AV)、ビデオ・トゥ・オーディオ・ビデオ(V2AV)にまたがる284のテストケースで構成されている。
このフレームワークは、音質、断面積の整合性、大域的な物語のコヒーレンス、セマンティックアライメント、オーディオ視覚アライメントをカバーする20以上のきめ細かい寸法を評価する。
- 参考スコア（独自算出の注目度）: 39.241237759347825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-visual generation is rapidly advancing from short clips to minute-long content, while existing evaluation protocols remain largely confined to short-form settings. Existing benchmarks primarily focus on 5--10 second text-conditioned generation and rarely support unified evaluation across text, image, and video conditioning modalities. Moreover, they provide limited insight into how identity consistency, narrative coherence, and audio-visual alignment degrade over extended temporal horizons. To bridge this gap, we introduce LongAV-Compass, a systematic benchmark for minute-long audio-visual generation. LongAV-Compass contains 284 curated test cases spanning text-to-audio-video (T2AV), image-to-audio-video (I2AV), and video-to-audio-video (V2AV), organized by application scenario and generation complexity. The benchmark combines taxonomy-guided benchmark construction with a unified evaluation framework that integrates MLLM-assisted assessment with complementary perceptual and multimodal metrics, including DINO-v2, ArcFace, CLIP, and ImageBind. The framework evaluates more than 20 fine-grained dimensions covering within-segment quality, cross-segment consistency, global narrative coherence, semantic alignment, and audio-visual synchronization. Through experiments on 11 representative models together with human-alignment validation, LongAV-Compass provides a diagnostic testbed for analyzing the limitations of current systems in sustaining coherent, semantically aligned, and temporally consistent minute-scale audio-visual generation across diverse input modalities.
- Abstract（参考訳）: オーディオ・ビジュアル・ジェネレーションはショート・クリップから分長のコンテンツへと急速に進歩しているが、既存の評価プロトコルはショート・フォーム・セッティングに限られている。
既存のベンチマークは主に5～10秒のテキストコンディショニング生成に重点を置いており、テキスト、画像、ビデオコンディショニングのモダリティを統一的に評価することは滅多にない。
さらに、アイデンティティの整合性、物語のコヒーレンス、音声と視覚のアライメントが、時間的地平線を超えてどのように低下するかについての限られた洞察を提供する。
このギャップを埋めるために、我々は、微小な音声視覚生成のための体系的なベンチマークであるLongAV-Compassを導入する。
LongAV-Compassには、テキスト・トゥ・オーディオ・ビデオ(T2AV)、イメージ・トゥ・オーディオ・ビデオ(I2AV)、ビデオ・トゥ・オーディオ・ビデオ(V2AV)にまたがる284のテストケースが含まれている。
このベンチマークは、DINO-v2、ArcFace、CLIP、ImageBindなど、MLLM支援評価と補完的な知覚的およびマルチモーダルなメトリクスを統合する統合評価フレームワークと、分類誘導型ベンチマークの構築を組み合わせたものだ。
このフレームワークは、セグメント内品質、クロスセグメント一貫性、グローバルな物語コヒーレンス、セマンティックアライメント、オーディオと視覚の同期を含む20以上のきめ細かい次元を評価する。
人間のアライメント検証と合わせて11の代表的なモデルの実験を通じて、LongAV-Compassは、多様な入力モダリティにわたる一貫性、セマンティックアライメント、時間的に一貫したマイクロスケールオーディオ視覚生成の維持における現在のシステムの限界を分析するための診断テストベッドを提供する。
関連論文リスト
- AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation [42.157453071865056]
AVGen-Benchは、T2AV生成のためのタスク駆動ベンチマークである。
軽量スペシャリストモデルとマルチモーダル大言語モデル(MLLM)を組み合わせた多言語評価フレームワークを提案する。
評価の結果,テキストレンダリングの持続的失敗,音声のコヒーレンス,物理的推論,音声ピッチ制御の普遍的破壊など,強い視覚的美学と弱い意味的信頼性のギャップが明らかとなった。
論文 参考訳（メタデータ） (2026-04-09T17:59:39Z) - T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation [41.03487954415606]
Text-to-Audio-Video (T2AV) は、自然言語から時間的コヒーレントなビデオと意味的に同期された音声を合成することを目的としている。
本稿では,T2AVシステムの総合評価のための統合ベンチマークであるT2AV-を提案する。
最強のモデルでさえ、人間レベルのリアリズムとクロスモーダルな一貫性にかなり劣っている。
論文 参考訳（メタデータ） (2025-12-24T10:30:35Z) - Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing [26.317163478761916]
弱教師付き音声視覚ビデオ解析は、時間的アノテーションを使わずに、可聴性、可視性、および音声視覚イベントを検出する。
本稿では,信頼度の高いセグメントレベルのマスクを生成する指数移動平均(EMA)誘導擬似監視フレームワークを提案する。
また,クラス対応のクロスモーダル・アグリーメント(CMA)の損失も提案する。
論文 参考訳（メタデータ） (2025-09-17T15:38:05Z) - Revisiting Audio-Visual Segmentation with Vision-Centric Transformer [60.83798235788669]
AVS (Audio-Visual) は、オーディオ信号に基づいて、映像フレームに音声を生成するオブジェクトを分割することを目的としている。
本稿では,視覚由来の問合せを利用して,対応する音声や視覚情報を反復的に取得する視覚中心変換フレームワークを提案する。
我々のフレームワークは,AVSBenchデータセットの3つのサブセット上で,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-06-30T08:40:36Z) - AVS-Mamba: Exploring Temporal and Multi-modal Mamba for Audio-Visual Segmentation [62.682428307810525]
音声・視覚的セグメンテーションタスクに対処する選択状態空間モデルであるAVS-Mambaを導入する。
我々のフレームワークはビデオ理解とクロスモーダル学習の2つの重要な要素を取り入れている。
提案手法は, AVSBench-object と AVS-semantic のデータセット上で, 最新の結果を実現する。
論文 参考訳（メタデータ） (2025-01-14T03:20:20Z) - Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation [17.123212921673176]
本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。
ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。
提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
論文 参考訳（メタデータ） (2024-06-10T10:53:23Z) - Text-to-Audio Generation Synchronized with Videos [44.848393652233796]
我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。
また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。
ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
論文 参考訳（メタデータ） (2024-03-08T22:27:38Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Audio-Visual Synchronisation in the wild [149.84890978170174]
我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。
任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。
我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
論文 参考訳（メタデータ） (2021-12-08T17:50:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。