論文の概要: ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts
- arxiv url: http://arxiv.org/abs/2609.34843v1
- Date: Mon, 28 Sep 2026 10:40:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:21:03.85343
- Title: ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts
- Title（参考訳）: ORAV:マルチモーダルコンテキストによるオーディオビデオ生成のベンチマーク
- Abstract要約: ORAV Bench for Omni Reference Audio-Video Generation, including 380 task instances with 2-10 references, 9 semantic role, and 30 role compositions。
本稿では,視覚的および聴覚的エビデンスを準備し,各参照の意図した貢献を比較し,提示順序の全体的検証を行う,参照対応のペアワイズプロトコルを開発する。
- 参考スコア（独自算出の注目度）: 13.195585732226908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio-video generation using heterogeneous multimodal references has emerged as a new challenge, requiring both compositional control over generation and grounded understanding of multimodal context. In this paper, we introduce ORAV Bench for Omni Reference Audio-Video Generation, comprising 380 task instances with 2-10 references, 9 semantic roles, and 30 role compositions. Instructions specify the relationships among references; the media supply the identities, dynamics, and audio characteristics to be realized. To evaluate these open-ended outputs, we develop a reference-aware pairwise protocol that prepares visual and auditory evidence, compares the intended contribution of each reference, and checks the overall verdict in both presentation orders. On held-out instances, it achieves 86.08% effective agreement with human judgments. Across 5 frontier systems, overall rankings conceal distinct strengths across reference compositions. A recurring failure is to reproduce unintended source content in place of the requested result, despite closely resembling a reference. Reproducible pointwise diagnostics of quality, reference affinity, and speech reveal distinct dimensions of model behavior. ORAV thus offers a benchmark for tracking progress toward controllable, compositional, and reference-faithful audio-video generation.
- Abstract（参考訳）: ヘテロジニアスなマルチモーダル参照を用いたオーディオビデオ生成は、生成に対する構成制御とマルチモーダルコンテキストの基底的理解の両方を必要とする新しい課題として浮上している。
本稿では,Omni Reference Audio-Video GenerationのためのORAV Benchを紹介し,2-10の参照を持つ380のタスクインスタンス,9のセマンティックロール,30のロールコンポジションを含む。
メディアは、実現すべきアイデンティティ、ダイナミクス、およびオーディオ特性を提供する。
これらのオープンエンドアウトプットを評価するために,視覚的および聴覚的エビデンスを作成し,各参照の意図したコントリビューションを比較し,提示順序の全体的検証を行う,参照対応のペアワイズプロトコルを開発した。
ホールドアウトの場合、人間の判断と86.08%の効果的な合意を達成している。
5つのフロンティアシステムにまたがって、全体的なランキングは、参照構成の異なる強みを隠蔽する。
繰り返し発生する失敗は、参照によく似ているにもかかわらず、要求された結果の代わりに意図しないソースコンテンツを再生することである。
品質、参照親和性、発話の再現可能なポイントワイズ診断は、モデル行動の異なる次元を明らかにする。
ORAVは、制御可能、合成可能、および参照に富んだオーディオビデオ生成に向けた進捗を追跡するためのベンチマークを提供する。
関連論文リスト
- VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。
VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-08-19T06:53:14Z) - Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
論文 参考訳（メタデータ） (2026-08-06T09:38:30Z) - MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation [27.198976547095565]
MR2AV(Multi-Reference-to-audio-video)生成は,複数の参照とテキスト命令を条件としたコヒーレントなオーディオビデオコンテンツを生成することを目的としている。
既存のベンチマークは主にテキスト駆動生成、単一参照主題保存、孤立したオーディオビデオアライメントに焦点を当てている。
MR2AV生成のための統合ベンチマークであるMultiRef-を導入する。
論文 参考訳（メタデータ） (2026-07-15T16:02:45Z) - MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。
私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。
MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
論文 参考訳（メタデータ） (2026-05-19T17:59:33Z) - AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation [42.157453071865056]
AVGen-Benchは、T2AV生成のためのタスク駆動ベンチマークである。
軽量スペシャリストモデルとマルチモーダル大言語モデル(MLLM)を組み合わせた多言語評価フレームワークを提案する。
評価の結果,テキストレンダリングの持続的失敗,音声のコヒーレンス,物理的推論,音声ピッチ制御の普遍的破壊など,強い視覚的美学と弱い意味的信頼性のギャップが明らかとなった。
論文 参考訳（メタデータ） (2026-04-09T17:59:39Z) - VABench: A Comprehensive Benchmark for Audio-Video Generation [22.00633729850902]
VABenchは、同期オーディオビデオ生成の機能を評価するために設計されたベンチマークフレームワークである。
タスクタイプは、text-to-audio-video (T2AV)、 Image-to-audio-video (I2AV)、ステレオオーディオビデオ生成の3種類である。
VABenchは、動物、人間の音、音楽、環境音、同期物理音、複雑なシーン、バーチャルワールドの7つの主要なコンテンツカテゴリをカバーしている。
論文 参考訳（メタデータ） (2025-12-10T03:57:29Z) - MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。
AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。
提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-08T06:34:29Z) - CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。
本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
論文 参考訳（メタデータ） (2023-12-08T23:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。