Fugu-MT 論文翻訳(概要): Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

論文の概要: Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

arxiv url: http://arxiv.org/abs/2510.03117v1
Date: Fri, 03 Oct 2025 15:43:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 16:35:52.464883
Title: Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
Title（参考訳）: 高度なモダリティ条件とインタラクションによるテキスト音声合成
Authors: Kaisi Guan, Xihua Wang, Zhengfeng Lai, Xin Cheng, Peng Zhang, XiaoJiang Liu, Ruihua Song, Meng Cao,
Abstract要約: 本研究は,テキスト・トゥ・サウンド・ビデオ(T2SV)生成という課題に焦点をあてる。テキスト条件から同期された音声でビデオを生成することを目的としており、両方のモダリティがテキストに一致していることを保証する。 1)ビデオ用テキストが音声用テキストと等しい1つの共有テキストキャプションは、しばしばモーダル干渉を引き起こす。
参考スコア（独自算出の注目度）: 28.20791917022439
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study focuses on a challenging yet promising task, Text-to-Sounding-Video (T2SV) generation, which aims to generate a video with synchronized audio from text conditions, meanwhile ensuring both modalities are aligned with text. Despite progress in joint audio-video training, two critical challenges still remain unaddressed: (1) a single, shared text caption where the text for video is equal to the text for audio often creates modal interference, confusing the pretrained backbones, and (2) the optimal mechanism for cross-modal feature interaction remains unclear. To address these challenges, we first propose the Hierarchical Visual-Grounded Captioning (HVGC) framework that generates pairs of disentangled captions, a video caption, and an audio caption, eliminating interference at the conditioning stage. Based on HVGC, we further introduce BridgeDiT, a novel dual-tower diffusion transformer, which employs a Dual CrossAttention (DCA) mechanism that acts as a robust ``bridge" to enable a symmetric, bidirectional exchange of information, achieving both semantic and temporal synchronization. Extensive experiments on three benchmark datasets, supported by human evaluations, demonstrate that our method achieves state-of-the-art results on most metrics. Comprehensive ablation studies further validate the effectiveness of our contributions, offering key insights for the future T2SV task. All the codes and checkpoints will be publicly released.
Abstract（参考訳）: 本研究は,テキスト条件から音声を同期させたビデオを生成するとともに,両モードがテキストに一致していることを保証することを目的とした,挑戦的かつ有望なタスクであるText-to-Sounding-Video(T2SV)生成に焦点を当てる。 1)ビデオ用テキストが音声用テキストに等しい1つの共有テキストキャプションは、事前訓練されたバックボーンを混乱させ、(2)モーダル間特徴相互作用の最適メカニズムが不明確である。これらの課題に対処するために、まず階層型ビジュアル・グラウンドド・キャプション(HVGC)フレームワークを提案し、コンディショニング段階での干渉を排除し、アンタングルされていないキャプション、ビデオキャプション、オーディオキャプションのペアを生成する。 HVGCをベースとして,二方向拡散変換器であるBridgeDiTを導入し,ロバストな「橋」として機能するデュアルクロスアテンション(DCA)機構を用いて,情報間の対称な双方向交換を実現し,意味的・時間的同期を実現する。人間の評価によって支援された3つのベンチマークデータセットに対する大規模な実験は、我々の手法がほとんどの指標で最先端の結果を達成することを実証している。包括的アブレーション研究は、我々の貢献の有効性をさらに検証し、将来のT2SVタスクに重要な洞察を与えます。すべてのコードとチェックポイントが公開されます。

関連論文リスト

Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2025-08-04T12:50:22Z)
TAViS: Text-bridged Audio-Visual Segmentation with Foundation Models [123.17643568298116]
本稿では,マルチモーダル基盤モデルの知識をテキスト化するための新しいフレームワークTAViSを提案する。これらのモデルを効果的に組み合わせることによって、SAM2とImageBind間の知識伝達の困難さと、監督のためにセグメンテーション損失のみを使用することの不十分さの2つの大きな課題が生じる。提案手法は,シングルソース,マルチソース,セマンティックデータセットにおいて優れた性能を示し,ゼロショット設定で優れる。
論文参考訳（メタデータ） (2025-06-13T03:19:47Z)
Video-ColBERT: Contextualized Late Interaction for Text-to-Video Retrieval [90.72791786676753]
Video-ColBERTは、クエリとビデオ間の微粒な類似性評価のためのシンプルで効率的なメカニズムを導入している。このインタラクションとトレーニングのパラダイムは、ビデオコンテンツをエンコードするための、強い個人的かつ互換性のある表現につながることが分かっています。これらの表現は、他のバイエンコーダ法と比較して、一般的なテキスト・ビデオ検索ベンチマークのパフォーマンスが向上する。
論文参考訳（メタデータ） (2025-03-24T17:51:29Z)
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
論文参考訳（メタデータ） (2024-06-11T04:25:48Z)
Text-to-Audio Generation Synchronized with Videos [44.848393652233796]
我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
論文参考訳（メタデータ） (2024-03-08T22:27:38Z)
Multi-Sentence Grounding for Long-term Instructional Video [63.27905419718045]
大規模インストラクショナルデータセットを記述するための,自動でスケーラブルなパイプラインを確立することを目的としている。複数の記述ステップを監督する高品質なビデオテキストデータセット、HowToStepを構築した。
論文参考訳（メタデータ） (2023-12-21T17:28:09Z)
AADiff: Audio-Aligned Video Synthesis with Text-to-Image Diffusion [27.47320496383661]
本稿では,時間的ダイナミクスを制御するために音声信号を利用する新しいT2Vフレームワークを提案する。音声による局所的な編集と信号の平滑化を提案し,ビデオ合成におけるデシラタの相反する2つのデシラタのバランスを良くする。
論文参考訳（メタデータ） (2023-05-06T10:26:56Z)
SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
論文参考訳（メタデータ） (2022-05-04T13:34:07Z)
Towards Realistic Visual Dubbing with Heterogeneous Sources [22.250010330418398]
口唇の動きを任意の音声入力と同期させることがほとんどない。異種データのマイニングに高い柔軟性を持つ簡易で効率的な2段階のフレームワークを提案する。本手法は,2段階のサブネットワークにおけるトレーニングコーパスを独立的に活用することを可能にする。
論文参考訳（メタデータ） (2022-01-17T07:57:24Z)
Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary [10.590649169151055]
テキストから映像を合成するための新しいアプローチを紹介します。この手法は、音素生成辞書を構築し、ビデオを生成するために生成敵対ネットワーク(GAN)を訓練する。音声駆動ビデオ生成アルゴリズムと比較して、我々のアプローチには多くの利点がある。
論文参考訳（メタデータ） (2021-04-29T19:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。