論文の概要: Multi-Source Spatial Knowledge Understanding for Immersive Visual Text-to-Speech

• arxiv url: http://arxiv.org/abs/2410.14101v2
• Date: Mon, 23 Dec 2024 08:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:51:09.866593
• Title: Multi-Source Spatial Knowledge Understanding for Immersive Visual Text-to-Speech
• Title（参考訳）: 没入型視覚テキスト音声のためのマルチソース空間知識理解
• Authors: Shuwei He, Rui Liu,
• Abstract要約: VTTS (Visual Text-to-Speech) は,環境イメージを音声コンテンツに対する残響音声の合成に役立てることを目的としている。 本稿では,MS2KU-VTTSと呼ばれる没入型VTTSのための空間知識理解手法を提案する。
• 参考スコア（独自算出の注目度）: 3.391256280235937
• License:
• Abstract: Visual Text-to-Speech (VTTS) aims to take the environmental image as the prompt to synthesize reverberant speech for the spoken content. Previous works focus on the RGB modality for global environmental modeling, overlooking the potential of multi-source spatial knowledge like depth, speaker position, and environmental semantics. To address these issues, we propose a novel multi-source spatial knowledge understanding scheme for immersive VTTS, termed MS2KU-VTTS. Specifically, we first prioritize RGB image as the dominant source and consider depth image, speaker position knowledge from object detection, and Gemini-generated semantic captions as supplementary sources. Afterwards, we propose a serial interaction mechanism to effectively integrate both dominant and supplementary sources. The resulting multi-source knowledge is dynamically integrated based on the respective contributions of each source.This enriched interaction and integration of multi-source spatial knowledge guides the speech generation model, enhancing the immersive speech experience. Experimental results demonstrate that the MS$^2$KU-VTTS surpasses existing baselines in generating immersive speech. Demos and code are available at: https://github.com/AI-S2-Lab/MS2KU-VTTS.
• Abstract（参考訳）: VTTS (Visual Text-to-Speech) は,環境イメージを音声コンテンツに対する残響音声の合成に役立てることを目的としている。 これまでの研究は、深度、話者の位置、環境意味論といったマルチソース空間知識の可能性を見越して、地球環境モデリングのためのRGBモダリティに焦点を当てていた。 これらの課題に対処するため,MS2KU-VTTSと呼ばれる没入型VTTSのためのマルチソース空間知識理解手法を提案する。 具体的には、まずRGBイメージを優先し、深度画像、オブジェクト検出からの話者位置知識、ジェミニ生成のセマンティックキャプションを補助ソースとして検討する。 その後、支配的なソースと補助的なソースの両方を効果的に統合するシリアルインタラクション機構を提案する。 得られた多元的知識は,それぞれの情報源の貢献に基づいて動的に統合され,多元的空間的知識の豊富な相互作用と統合は,音声生成モデルに導出し,没入型音声体験を向上させる。 実験の結果,MS$^2$KU-VTTSは既存のベースラインを超え,没入音声を生成することがわかった。 デモとコードは、https://github.com/AI-S2-Lab/MS2KU-VTTS.comで公開されている。

関連論文リスト

• Multi-modal and Multi-scale Spatial Environment Understanding for Immersive Visual Text-to-Speech [39.74416731035842]
  M2SE-VTTSは、環境イメージを音声コンテンツに対する残響音声の合成のプロンプトとすることを目的としている。 没入型VTTSを実現するためのマルチモーダル・マルチスケール空間環境理解手法を提案する。 本モデルは,環境音声生成における先進的ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-12-16T03:25:23Z)
• Emphasis Rendering for Conversational Text-to-Speech with Multi-modal Multi-scale Context Modeling [40.32021786228235]
  Conversational Text-to-Speech (CTTS) は、会話設定内で適切なスタイルで発話を正確に表現することを目的としている。 ER-CTTSと呼ばれるCTTSモデルのための新しい強調レンダリング手法を提案する。 データ不足に対処するため、既存の会話データセット(DailyTalk)に強調強調アノテーションを作成します。
  論文  参考訳（メタデータ） (2024-10-12T13:02:31Z)
• Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI [10.335943413484815]
  拡張現実における仮想世界と物理世界のシームレスな統合は、物理的な環境を意味的に「理解する」システムから恩恵を受ける。 本稿では,意味的知識と言語的知識を幾何学的表現と一体化する多モード3Dオブジェクト表現を提案する。 提案システムの有用性を,Magic Leap 2上の2つの実世界のARアプリケーションを用いて実証する:a) 自然言語を用いた物理環境における空間探索,b) 時間とともにオブジェクトの変化を追跡するインテリジェントなインベントリシステム。
  論文  参考訳（メタデータ） (2024-10-06T23:25:21Z)
• SSPA: Split-and-Synthesize Prompting with Gated Alignments for Multi-Label Image Recognition [71.90536979421093]
  本稿では,視覚言語モデル (VLM) の可能性を増幅するために, Gated Alignments (SSPA) フレームワークを用いた分割合成プロンプトを提案する。 我々は、LLMから固有の知識を関連付けるために、文脈内学習アプローチを開発する。 次に,SSP(Split-and-Synthesize Prompting)戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-30T15:58:25Z)
• SEDS: Semantically Enhanced Dual-Stream Encoder for Sign Language Retrieval [82.51117533271517]
  以前はRGBビデオをエンコードするだけで高レベルのセマンティックな特徴が得られていた。 既存のRGBベースの手話検索作業は、エンドツーエンドのトレーニングに埋め込まれた濃密な視覚データによる膨大なメモリコストに悩まされる。 本稿では,Semantically Enhanced Dual-Streamという手話表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-23T11:31:11Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• ESPnet-SE++: Speech Enhancement for Robust Speech Recognition, Translation, and Understanding [86.47555696652618]
  本稿では,音声分離と拡張をESPnetツールキットに統合する最近の進歩について述べる。 新しいインタフェースは、音声認識(ASR)、音声翻訳(ST)、音声言語理解(SLU)など、音声強調フロントエンドと他のタスクを併用するように設計されている。 その結果,SEフロントエンドとバックエンドタスクの統合は,ASR以外のタスクにおいても有望な研究方向であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-19T18:55:29Z)
• Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
  画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。 最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。 本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
  論文  参考訳（メタデータ） (2021-12-08T04:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。