Fugu-MT 論文翻訳(概要): ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment

論文の概要: ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment

arxiv url: http://arxiv.org/abs/2605.30965v1
Date: Fri, 29 May 2026 07:58:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.458369
Title: ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Title（参考訳）: ImmersiveTTS:マルチモーダル拡散変換器とドメイン特化表現アライメントを用いた環境対応テキスト音声合成
Abstract要約: ImmersiveTTSは環境コンテキストにシームレスに統合された自然な音声を生成する環境対応テキスト音声合成(TTS)モデルである。本モデルは,マルチモーダル拡散変換器上に構築され,テキスト条件付き環境コンテキストでテキスト対応音声を融合する。実験結果から,ImmersiveTTSは既存手法よりも自然性,知性,音声の忠実度が高いことがわかった。
参考スコア（独自算出の注目度）: 52.31881685769569
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recent advancements in text-guided audio generation have yielded promising results in diverse domains, including sound effects, speech, and music. However, jointly generating speech with environmental audio remains challenging due to the inherent disparities in their acoustic patterns and temporal dynamics. We propose ImmersiveTTS, an environment-aware text-to-speech (TTS) model that generates natural speech seamlessly integrated within environmental contexts by explicitly modeling cross-modal interactions. Our model builds on a multimodal diffusion transformer and fuses transcript-aligned speech latent with text-conditioned environmental context via joint attention. To enhance semantic consistency, we introduce a domain-specific representation alignment objective tailored to environment-aware TTS, leveraging complementary self-supervised representations from speech and audio encoders. Experimental results show that ImmersiveTTS achieves higher naturalness, intelligibility, and audio fidelity than existing approaches across objective metrics and human listening tests.
Abstract（参考訳）: 近年のテキスト誘導音声生成の進歩は、音声効果、音声、音楽など様々な領域において有望な結果をもたらしている。しかし,その音響パターンと時間的ダイナミクスに固有の相違があるため,環境オーディオと共同で音声を生成することは依然として困難である。 ImmersiveTTSは環境に配慮したテキスト音声合成(TTS)モデルであり、モーダル間相互作用を明示的にモデル化することで、環境コンテキストにシームレスに統合された自然な音声を生成する。本モデルは,マルチモーダル拡散変換器上に構築され,テキスト条件付き環境文脈でテキスト対応音声を融合する。セマンティクスの整合性を高めるために,音声と音声のエンコーダからの補完的な自己教師付き表現を活用する,環境に配慮したTTSに適したドメイン固有表現アライメント手法を提案する。実験結果から、ImmersiveTTSは、客観的な測定値や人間の聴取テストにまたがる既存のアプローチよりも、自然性、知性、および音の忠実性が高いことがわかった。

関連論文リスト

Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts [20.986457042343684]
フリーフォームテキスト・プロンプト・トゥ・ユニファイド・オーディオ・ジェネレーションという新しいタスクを導入する。 PlanAudioは統合された自己回帰型LLMベースのフレームワークである。音声・音響・合成のシナリオで評価を行う。
論文参考訳（メタデータ） (2026-05-27T07:15:35Z)
UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions [55.622295453533475]
音声,音楽,音響効果を合成できる統合フローマッチングフレームワークUniSonateを紹介する。本研究では,非構造環境音を時間潜在空間に投影する動的トークン注入機構を提案する。実験により、UniSonateは、命令ベースのTSとTTMで最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2026-04-24T04:26:04Z)
Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文参考訳（メタデータ） (2026-02-10T14:31:11Z)
Shared Latent Representation for Joint Text-to-Audio-Visual Synthesis [57.5830191022097]
Text-to-VecモジュールはテキストからWav2Vec2埋め込みを生成する。 We adopt a two-stage training: Pretraining on Wav2Vec2 embeddeddings and finetuning on TTS outputs。実験により、TS予測潜伏特性の条件付けはカスケードパイプラインよりも優れていることが示された。
論文参考訳（メタデータ） (2025-11-07T17:07:56Z)
UmbraTTS: Adapting Text-to-Speech to Environmental Contexts with Flow Matching [17.559310386487493]
UmbraTTSは、音声と環境の両方を共同で生成するフローマッチングベースのTSモデルである。本モデルでは,背景音量のきめ細かな制御が可能であり,多様な,一貫性のある,コンテキスト対応の音声シーンを生成できる。
論文参考訳（メタデータ） (2025-06-11T15:43:08Z)
AlignDiT: Multimodal Aligned Diffusion Transformer for Synchronized Speech Generation [65.06374691172061]
マルチモーダル・トゥ・音声タスクは、映画製作、ダビング、仮想アバターなど、幅広い応用によって注目を集めている。既存の手法は、音声の了解性、音声とビデオの同期、音声の自然さ、および参照話者との音声類似性の制限に悩まされている。本稿では,アライメントされたマルチモーダル入力から正確な,同期化,自然な音声を生成するマルチモーダルアラインド拡散変換器AlignDiTを提案する。
論文参考訳（メタデータ） (2025-04-29T10:56:24Z)
V2SFlow: Video-to-Speech Generation with Speech Decomposition and Rectified Flow [57.51550409392103]
本稿では,V2SFlowについて紹介する。V2SFlowは,サイレント・トーキング・フェイス・ビデオから直接自然で分かりやすい音声を生成するために設計された,新しいビデオ音声合成(V2S)フレームワークである。これらの課題に対処するため、音声信号を管理可能な部分空間に分解し、それぞれ異なる音声属性を表現し、視覚入力から直接予測する。これらの予測属性からコヒーレントでリアルな音声を生成するために,Transformerアーキテクチャ上に構築された正流整合デコーダを用いる。
論文参考訳（メタデータ） (2024-11-29T05:55:20Z)
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models [15.068637971987224]
DDMデノイザの遅延ボトルネックアクティベーションからなる冷凍TSモデルの潜時空間について検討する。この空間には豊富な意味情報が含まれており、教師なしと教師なしの両方で、その内部の意味的方向を見つけるための新しい方法をいくつか紹介する。これにより、さらなるトレーニング、アーキテクチャの変更、データ要求なしに、オフザシェルフオーディオ編集が可能になることを実証する。
論文参考訳（メタデータ） (2024-02-19T16:22:21Z)
Visual-Aware Text-to-Speech [101.89332968344102]
テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
論文参考訳（メタデータ） (2023-06-21T05:11:39Z)
Fine-grained Noise Control for Multispeaker Speech Synthesis [3.449700218265025]
テキスト音声モデル(TTS)は、典型的には、内容、話者、韻律などの音声属性を非絡み合い表現に分解する。近年の課題は, 音響条件を的確にモデル化することであり, 主要な音声要因を解消することである。
論文参考訳（メタデータ） (2022-04-11T13:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。