論文の概要: Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

• arxiv url: http://arxiv.org/abs/2506.20995v3
• Date: Tue, 07 Oct 2025 06:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 15:38:20.874159
• Title: Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance
• Title（参考訳）: 負のオーディオ誘導によるステップバイステップ・ビデオ・トゥ・オーディオ合成
• Authors: Akio Hayakawa, Masato Ishii, Takashi Shibuya, Yuki Mitsufuji,
• Abstract要約: 生成プロセスの制御性を向上し,よりリアルな音声合成を実現するために,ステップバイステップのV2A生成手法を提案する。 従来のフォーリーにインスパイアされた我々の手法は、ビデオによって誘発される全ての音声イベントを、欠落した音声イベントの漸進的な生成を通じてキャプチャすることを目的としている。
• 参考スコア（独自算出の注目度）: 33.1393328136321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a step-by-step video-to-audio (V2A) generation method for finer controllability over the generation process and more realistic audio synthesis. Inspired by traditional Foley workflows, our approach aims to comprehensively capture all sound events induced by a video through the incremental generation of missing sound events. To avoid the need for costly multi-reference video-audio datasets, each generation step is formulated as a negatively guided V2A process that discourages duplication of existing sounds. The guidance model is trained by finetuning a pre-trained V2A model on audio pairs from adjacent segments of the same video, allowing training with standard single-reference audiovisual datasets that are easily accessible. Objective and subjective evaluations demonstrate that our method enhances the separability of generated sounds at each step and improves the overall quality of the final composite audio, outperforming existing baselines.
• Abstract（参考訳）: 生成プロセスの制御性を向上し,よりリアルな音声合成を実現するために,ステップバイステップのV2A生成手法を提案する。 従来のFoleyワークフローにインスパイアされた本手法は,ビデオによって誘発されるすべての音声イベントを,欠落した音声イベントの漸進的生成を通じて包括的にキャプチャすることを目的としている。 コストのかかるマルチ参照ビデオオーディオデータセットの必要性を回避するため、各生成ステップは、既存の音の重複を回避した負のガイド付きV2Aプロセスとして定式化される。 ガイダンスモデルは、同じビデオの隣接セグメントから、事前訓練されたV2Aモデルのオーディオペアを微調整することで訓練される。 目的的,主観的な評価は,本手法が各ステップにおける生成音の分離性を向上し,最終合成音声の全体的な品質を向上し,既存のベースラインを上回ることを示す。

関連論文リスト

• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation [55.76423101183408]
  ViSAudioは、条件付きフローマッチングとデュアルブランチオーディオ生成アーキテクチャを利用するエンドツーエンドフレームワークである。 空間浸漬による高品質なオーディオを生成し、視点の変化、音源の動き、様々な音響環境に適応する。
  論文  参考訳（メタデータ） (2025-12-02T18:56:12Z)
• Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation [20.446421146630474]
  本稿では,事前に訓練したテキスト・トゥ・ビデオ(T2V)とテキスト・トゥ・オーディオ(T2A)モジュールを併用した,パラメータ効率のよいAVFullDiT(Audio-Video Full DiT)アーキテクチャを提案する。 以上の結果から,音声とビデオの関節装飾が同期以上の効果をもたらすという,最初の体系的な証拠が得られた。
  論文  参考訳（メタデータ） (2025-12-02T06:31:38Z)
• SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos [38.40457780873775]
  SALSA-Vは,サイレントビデオコンテンツから高同期・高忠実長音声を合成できるマルチモーダルビデオ・オーディオ生成モデルである。 提案手法では,非拘束長音声系列の音声条件生成とシームレスな合成を可能にする。 SALSA-Vは,映像コンテンツと音声の協調・同期の両面で,定量的評価と人間の聴取研究において,既存の最先端手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2025-10-03T11:37:50Z)
• Training-Free Multimodal Guidance for Video to Audio Generation [22.64037676707457]
  Video-to-audio (V2A) の生成は、サイレントビデオから現実的でセマンティックに整合したオーディオを合成することを目的としている。 既存のアプローチでは、大規模なペアデータセットでのコストのかかる共同トレーニングが必要か、ペアの類似性に依存している。 本稿では,V2A拡散のための新しいトレーニングフリーマルチモーダル誘導機構を提案する。
  論文  参考訳（メタデータ） (2025-09-29T10:00:36Z)
• SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
  SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。 入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-01T17:05:04Z)
• ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [52.33281620699459]
  textbfThinkSoundは、Chain-of-Thought(CoT)推論を利用して、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。 提案手法は,3つの相補的な段階に分解する: セマンティック・コヒーレント, 正確なユーザインタラクションによる対話型オブジェクト中心の洗練, 自然言語命令でガイドされたターゲット編集。 実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T16:32:06Z)
• AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation [49.6922496382879]
  本稿では,A2V(Video-to-Audio)生成とA2V(Audio-to-Video)生成のための統合フレームワークを提案する。 我々のフレームワークの鍵は、ビデオとオーディオの拡散モデル間の双方向情報交換を容易にするFusion Blockである。
  論文  参考訳（メタデータ） (2024-12-19T18:57:21Z)
• YingSound: Video-Guided Sound Effects Generation with Multi-modal Chain-of-Thought Controls [10.429203168607147]
  YingSoundは、ビデオ誘導音声生成のための基礎モデルである。 数ショット設定で高品質なオーディオ生成をサポートする。 本稿では,YingSoundが自動評価と人間の研究を通じて,高品質な同期音を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2024-12-12T10:55:57Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis [9.118448725265669]
  音を設計する際に最も時間がかかるステップの1つは、音声とビデオの同期です。 ビデオゲームやアニメーションでは、参照音声は存在せず、ビデオからのイベントタイミングのマニュアルアノテーションを必要とする。 そこで本研究では,ビデオから繰り返し動作のオンセットを抽出し,新たな音効果音響トラックを生成するために訓練された拡散モデルの条件付けに用いるシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:01:36Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• Audio-visual video-to-speech synthesis with synthesized input audio [64.86087257004883]
  トレーニングと推論における音声合成におけるビデオ入力と音声入力の併用効果について検討する。 特に、事前学習したビデオ音声合成モデルを用いて、欠落した音声信号を合成し、サイレントビデオと合成音声の両方を入力として、音声音声合成モデルを訓練し、最終的な再構成音声を予測する。
  論文  参考訳（メタデータ） (2023-07-31T11:39:05Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。