Fugu-MT 論文翻訳(概要): Gotta Hear Them All: Towards Sound Source Aware Audio Generation

論文の概要: Gotta Hear Them All: Towards Sound Source Aware Audio Generation

arxiv url: http://arxiv.org/abs/2411.15447v4
Date: Tue, 12 Aug 2025 04:20:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-13 14:32:15.882945
Title: Gotta Hear Them All: Towards Sound Source Aware Audio Generation
Title（参考訳）: ゴッタ・ハーモニー:サウンド・ソース・アウェア・オーディオ・ジェネレーションを目指して
Authors: Wei Guo, Heng Wang, Jianbo Ma, Weidong Cai,
Abstract要約: Sound Source-Aware Audio (SS2A) ジェネレータは、シーンからマルチモーダルな音源をローカルに知覚することができる。 SS2Aは,広範囲な映像聴取作業において最先端の性能を実現する。
参考スコア（独自算出の注目度）: 13.55717701044619
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Audio synthesis has broad applications in multimedia. Recent advancements have made it possible to generate relevant audios from inputs describing an audio scene, such as images or texts. However, the immersiveness and expressiveness of the generation are limited. One possible problem is that existing methods solely rely on the global scene and overlook details of local sounding objects (i.e., sound sources). To address this issue, we propose a Sound Source-Aware Audio (SS2A) generator. SS2A is able to locally perceive multimodal sound sources from a scene with visual detection and cross-modality translation. It then contrastively learns a Cross-Modal Sound Source (CMSS) Manifold to semantically disambiguate each source. Finally, we attentively mix their CMSS semantics into a rich audio representation, from which a pretrained audio generator outputs the sound. To model the CMSS manifold, we curate a novel single-sound-source visual-audio dataset VGGS3 from VGGSound. We also design a Sound Source Matching Score to clearly measure localized audio relevance. With the effectiveness of explicit sound source modeling, SS2A achieves state-of-the-art performance in extensive image-to-audio tasks. We also qualitatively demonstrate SS2A's ability to achieve intuitive synthesis control by compositing vision, text, and audio conditions. Furthermore, we show that our sound source modeling can achieve competitive video-to-audio performance with a straightforward temporal aggregation mechanism.
Abstract（参考訳）: 音声合成はマルチメディアに広く応用されている。近年の進歩により、画像やテキストなどの音声シーンを記述する入力から、関連する音声を生成することが可能になった。しかし、世代内の没入性や表現性は限られている。問題の1つは、既存の手法がグローバルなシーンにのみ依存し、局所的な音響オブジェクト(すなわち、音源)の細部を見渡すことである。この問題に対処するために,音源認識オーディオ(SS2A)ジェネレータを提案する。 SS2Aは、視覚的検出と相互モダリティ変換を備えたシーンから、局所的にマルチモーダル音源を知覚することができる。対照的に、Cross-Modal Sound Source (CMSS) Manifoldを学習し、各ソースを意味的に曖昧にする。最後に、CMSSのセマンティクスをリッチな音声表現に注意深く混合し、事前学習したオーディオ生成者が出力する。 CMSS多様体をモデル化するために,VGGSoundから単一音源のビジュアルオーディオデータセットVGGS3をキュレートする。また、音源マッチングスコアを設計して、局所的なオーディオの関連性を明確に測定する。露骨な音源モデリングの有効性により、SS2Aは広範囲な映像聴取作業において最先端の性能を達成する。また,視覚,テキスト,音声条件を構成することで,直感的な合成制御を実現するSS2Aの能力を質的に示す。さらに,本手法は時間的アグリゲーション機構を用いて,競合する映像・音響性能を実現することができることを示す。

関連論文リスト

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
論文参考訳（メタデータ） (2025-08-01T17:05:04Z)
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [52.33281620699459]
ThinkSoundは、Chain-of-Thought(CoT)推論を利用して、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。提案手法は,3つの相補的な段階に分解する: セマンティック・コヒーレント, 正確なユーザインタラクションによる対話型オブジェクト中心の洗練, 自然言語命令でガイドされたターゲット編集。実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-06-26T16:32:06Z)
Aligned Better, Listen Better for Audio-Visual Large Language Models [21.525317311280205]
ビデオには本質的に音声が含まれており、視覚に情報を提供する。ビデオ大言語モデル(ビデオ-LLM)は多くのオーディオ中心の設定に遭遇する。既存のモデルは、音声情報を利用するのに欠陥があり、理解と幻覚が弱い。
論文参考訳（メタデータ） (2025-04-02T18:47:09Z)
VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation [27.9571263633586]
本稿では,VinTAGeについて紹介する。VinTAGeは,テキストと動画を共同で検討し,音声生成のガイドを行うフローベーストランスフォーマーモデルである。私たちのフレームワークは、Visual-TextとJoint VT-SiTモデルという2つの重要なコンポーネントで構成されています。 VinTAGe-Benchは、636対のビデオテキストとオーディオのデータセットで、オンスクリーンとオフスクリーンの両方の音が含まれている。
論文参考訳（メタデータ） (2024-12-14T09:36:10Z)
YingSound: Video-Guided Sound Effects Generation with Multi-modal Chain-of-Thought Controls [10.429203168607147]
YingSoundは、ビデオ誘導音声生成のための基礎モデルである。数ショット設定で高品質なオーディオ生成をサポートする。本稿では,YingSoundが自動評価と人間の研究を通じて,高品質な同期音を効果的に生成できることを示す。
論文参考訳（メタデータ） (2024-12-12T10:55:57Z)
Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos [87.32349247938136]
既存のアプローチでは、トレーニング中にビデオとオーディオの完全な対応を暗黙的に仮定する。環境に配慮した新しいオーディオ生成モデルAV-LDMを提案する。我々のアプローチは、観察された視覚コンテンツに忠実にビデオ・オーディオ生成を集中させる最初の方法である。
論文参考訳（メタデータ） (2024-06-13T16:10:19Z)
Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
論文参考訳（メタデータ） (2024-06-09T03:38:21Z)
AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation [58.72068260933836]
システムの入力と出力はマルチモーダル(音声と視覚)である私たちは、自分の主要言語を利用することで、仮想ミーティングで世界中の個人とリアルタイムな会話を行うことができます。音声モダリティのみを翻訳する音声音声合成(A2A)とは対照的に,提案したAV2AVは音声・視覚音声を直接翻訳する。
論文参考訳（メタデータ） (2023-12-05T05:36:44Z)
BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation Knowledge [43.92428145744478]
音声・視覚のセグメンテーションを行う2段階のブートストラップフレームワークを提案する。第1段階では,視覚データから潜在的聴覚オブジェクトを局所化するためにセグメンテーションモデルを用いる。第2段階では、音響-視覚的セマンティック統合戦略(AVIS)を開発し、音響-音響オブジェクトをローカライズする。
論文参考訳（メタデータ） (2023-08-20T06:48:08Z)
Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。提案するAAIは、他のテキストや音声誘導方式よりも優れています。
論文参考訳（メタデータ） (2023-06-20T12:50:49Z)
AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation [55.1650189699753]
音声から音声への直接翻訳(S2ST)は、ある言語から別の言語への変換を目的としており、現在までに顕著な進歩を見せている。現在のS2STモデルは相変わらずノイズの多い環境での劣化に悩まされ、視覚音声の翻訳に失敗している。 AV-TranSpeechは、中間テキストに依存しない最初の音声-視覚音声-音声合成モデルである。
論文参考訳（メタデータ） (2023-05-24T17:59:03Z)
Audio-Visual Grouping Network for Sound Localization from Mixtures [30.756247389435803]
従来の単一音源法では、主に音声と視覚の関連を、各画像内の音像の局所化の手がかりとして用いた。入力オーディオと画像から各ソースのカテゴリごとのセマンティックな特徴を直接学習できる新しい音声視覚グループネットワークであるAVGNを提案する。既存のマルチソース手法と比較して,我々の新しいフレームワークはフレキシブルな複数の音源をローカライズし,個々の音源に対してカテゴリ対応の音響視覚表現をアンタングル化することができる。
論文参考訳（メタデータ） (2023-03-29T22:58:55Z)
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
論文参考訳（メタデータ） (2023-01-30T04:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。