論文の概要: Semantic-Critical Regions for Video-to-Audio Generation

• arxiv url: http://arxiv.org/abs/2610.23021v1
• Date: Fri, 16 Oct 2026 06:56:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.798953
• Title: Semantic-Critical Regions for Video-to-Audio Generation
• Title（参考訳）: 映像・音声生成のための意味的・批判的領域
• Abstract要約: 本稿では,V2A生成フレームワークであるSCR-V2Aを紹介する。 SCR-V2Aは、クロスモーダルアライメントにおいて競争力を維持しつつも、分散マッチングとオーディオ品質において高い性能を達成する。
• 参考スコア（独自算出の注目度）: 15.39152010294366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In real-world videos, sound events are often associated with localized and fine-grained visual cues, such as object motion, object-part dynamics, contact events, and interactions between objects. Existing video-to-audio (V2A) methods employ implicit conditioning based on global visual representations or explicit control derived from temporal and spatial cues. However, subtle sound-producing and sound-indicative interactions remain insufficiently captured, leaving room for more precise visual conditioning of sound-event semantics and temporal dynamics. Motivated by this observation, we refer to regions containing such sound-relevant visual evidence as Semantic-Critical Regions (SCRs) and introduce SCR-V2A, a V2A generation framework that explicitly localizes and encodes SCRs as fine-grained visual guidance for audio generation. Specifically, we first identify SCRs through sound-related visual localization. We then transform the localized regions into a control representation through adapter-based dual visual encoding, which jointly captures global visual context and fine-grained sound-relevant evidence. The representation is used to condition a downstream audio generation model. Experiments on both in-domain and out-of-domain benchmarks demonstrate that SCR-V2A achieves strong performance in distribution matching and audio quality while remaining competitive in cross-modal alignment and requiring few trainable parameters. These results highlight the value of prioritizing fine-grained, sound-relevant visual regions for V2A generation.
• Abstract（参考訳）: 実世界のビデオでは、音のイベントは、オブジェクトの動き、オブジェクトの部分のダイナミクス、接触イベント、オブジェクト間の相互作用といった、局所的できめ細かな視覚的手がかりと関連付けられていることが多い。 既存のV2A(V2A)手法では,グローバルな視覚的表現に基づく暗黙の条件付けや,時間的・空間的手がかりに基づく明示的な制御が採用されている。 しかし、微妙な音生成と音提示の相互作用は依然として不十分であり、より正確な視覚的条件付けと時間的ダイナミクスの余地を残している。 本研究の目的は,SCR(Semantic-Critical Regions)のような音声関連視覚的証拠を含む領域を指し,音声生成のためのきめ細かい視覚的ガイダンスとしてSCRを明示的にローカライズおよびエンコードするV2A生成フレームワークであるSCR-V2Aを紹介することである。 具体的には、まず、音に関連する視覚的位置決めによってSCRを識別する。 次に、局所化された領域をアダプタベースの二重視覚符号化による制御表現に変換し、グローバルな視覚コンテキストと微細な音響関連エビデンスを共同でキャプチャする。 この表現は、下流のオーディオ生成モデルを条件付けるために使用される。 ドメイン内ベンチマークと外部ベンチマークの両方の実験により、SCR-V2Aは、クロスモーダルアライメントとトレーニング可能なパラメータの少ない競争力を維持しながら、分散マッチングとオーディオ品質において高いパフォーマンスを達成することが示された。 これらの結果は,V2A生成のための細粒度・音関連視覚領域の優先順位付けの価値を強調した。

関連論文リスト

• PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
  共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-10-09T09:48:12Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
  SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。 入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-01T17:05:04Z)
• Revisiting Audio-Visual Segmentation with Vision-Centric Transformer [60.83798235788669]
  AVS (Audio-Visual) は、オーディオ信号に基づいて、映像フレームに音声を生成するオブジェクトを分割することを目的としている。 本稿では,視覚由来の問合せを利用して,対応する音声や視覚情報を反復的に取得する視覚中心変換フレームワークを提案する。 我々のフレームワークは,AVSBenchデータセットの3つのサブセット上で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-06-30T08:40:36Z)
• Multi-scale Multi-instance Visual Sound Localization and Segmentation [15.624453757710802]
  本稿では,M2VSLという新しいマルチスケール視覚音像定位フレームワークを提案する。 M2VSLは入力画像から音源に関連するマルチスケール意味的特徴を学習し,音像の局所化を行う。 我々は,VGGSound-Instruments,VGG-Sound Sources,AVSBenchベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-08-31T15:43:22Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Cross-Modal Global Interaction and Local Alignment for Audio-Visual Speech Recognition [21.477900473255264]
  音声・視覚音声認識(AVSR)のための多言語間相互作用と局所アライメント(GILA)アプローチを提案する。 具体的には、A-Vの相補関係をモダリティレベルで捉えるためのグローバル相互作用モデルと、フレームレベルでのA-Vの時間的一貫性をモデル化するための局所アライメントアプローチを設計する。 我々のGILAは、公開ベンチマークのLSS3とLSS2で教師付き学習状況よりも優れています。
  論文  参考訳（メタデータ） (2023-05-16T06:41:25Z)
• Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation [32.68710772281511]
  本稿では,映像中の音源をローカライズするために,音声・視覚表現学習のための自己教師型フレームワークを提案する。 我々のモデルは、Flickr-SoundNet と VGG-Sound という2つの音像定位ベンチマークにおいて、従来の手法よりも優れていた。 このことから,提案するフレームワークは,局所化や一般化に有益である強いマルチモーダル表現を学習し,さらなる応用を図っている。
  論文  参考訳（メタデータ） (2022-06-26T03:00:02Z)
• Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos [101.83513408195692]
  マルチタスク学習手法を提案する。 提案手法は,12種類の精度予測法より優れ,音源定位における競合的な結果が得られる。
  論文  参考訳（メタデータ） (2021-11-05T14:35:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。