論文の概要: Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis

• arxiv url: http://arxiv.org/abs/2411.17690v1
• Date: Tue, 26 Nov 2024 18:57:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:30:36.377253
• Title: Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis
• Title（参考訳）: Visatronic: 音声合成のためのマルチモーダルデコーダ専用モデル
• Authors: Akshita Gupta, Tatiana Likhomanenko, Karren Dai Yang, Richard He Bai, Zakaria Aldeneh, Navdeep Jaitly,
• Abstract要約: 本稿では,VTTSのビデオから音声を生成するタスクを提案し,マルチモーダル音声生成のための新しい手法を提案する。 本稿では,このタスクをビザトロニクスと呼ぶデコーダのみのマルチモーダルモデルを提案する。 視覚、テキスト、音声を直接トランスフォーマーモデルの共通部分空間に埋め込み、自己回帰的損失を用いて、話者ビデオや音声の書き起こしに条件付けられた離散化メル-スペクトログラムの生成モデルを学ぶ。
• 参考スコア（独自算出の注目度）: 13.702423348269155
• License:
• Abstract: In this paper, we propose a new task -- generating speech from videos of people and their transcripts (VTTS) -- to motivate new techniques for multimodal speech generation. This task generalizes the task of generating speech from cropped lip videos, and is also more complicated than the task of generating generic audio clips (e.g., dog barking) from videos and text. Multilingual versions of the task could lead to new techniques for cross-lingual dubbing. We also present a decoder-only multimodal model for this task, which we call Visatronic. This model embeds vision, text and speech directly into the common subspace of a transformer model and uses an autoregressive loss to learn a generative model of discretized mel-spectrograms conditioned on speaker videos and transcripts of their speech. By embedding all modalities into a common subspace, Visatronic can achieve improved results over models that use only text or video as input. Further, it presents a much simpler approach for multimodal speech generation compared to prevailing approaches which rely on lip-detectors and complicated architectures to fuse modalities while producing better results. Since the model is flexible enough to accommodate different ways of ordering inputs as a sequence, we carefully explore different strategies to better understand the best way to propagate information to the generative steps. To facilitate further research on VTTS, we will release (i) our code, (ii) clean transcriptions for the large-scale VoxCeleb2 dataset, and (iii) a standardized evaluation protocol for VTTS incorporating both objective and subjective metrics.
• Abstract（参考訳）: 本稿では,VTTSのビデオから音声を生成するタスクを提案し,マルチモーダル音声生成のための新しい手法を提案する。 本課題は, 収穫したリップビデオから音声を生成するタスクを一般化し, ビデオやテキストから一般的な音声クリップ(例えば, 犬のbarking)を生成するタスクよりも複雑である。 タスクの多言語バージョンは、言語間ダビングのための新しいテクニックにつながる可能性がある。 また,このタスクをビザトロニクスと呼ぶデコーダのみのマルチモーダルモデルを提案する。 このモデルは、トランスモデルの共通部分空間に直接視覚、テキスト、音声を直接埋め込んで、自己回帰損失を用いて、話者ビデオや音声の書き起こしに条件付けされた離散化メル-スペクトログラムの生成モデルを学習する。 すべてのモダリティを共通の部分空間に埋め込むことで、Visatronicはテキストやビデオのみを入力として使用するモデルよりも改善された結果を達成することができる。 さらに, 唇検出器や複雑なアーキテクチャに頼り, より優れた結果を得るとともに, モダリティを融合させるアプローチに比べて, よりシンプルなマルチモーダル音声生成手法が提案されている。 モデルは入力をシーケンスとして順序付けする様々な方法に対応するのに十分柔軟であるため、生成ステップに情報を伝達する最善の方法をよりよく理解するために、異なる戦略を慎重に検討する。 VTTSのさらなる研究を促進するため、我々はリリースする。 コード; コード; コード (ii)大規模VoxCeleb2データセットのクリーンな転写、及び 三 客観的・主観的指標の両方を取り入れたVTTSの標準化評価プロトコル。

関連論文リスト

• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Towards Accurate Lip-to-Speech Synthesis in-the-Wild [31.289366690147556]
  そこで本研究では,唇の動きのみをベースとしたサイレントビデオから音声を合成する手法を提案する。 リップビデオから直接音声を生成する従来のアプローチは、音声だけで堅牢な言語モデルを学べないという課題に直面している。 我々は,我々のモデルに言語情報を注入する最先端のリップ・トゥ・テキスト・ネットワークを用いて,ノイズの多いテキスト管理を導入することを提案する。
  論文  参考訳（メタデータ） (2024-03-02T04:07:24Z)
• VioLA: Unified Codec Language Models for Speech Recognition, Synthesis, and Translation [91.39949385661379]
  VioLAは1つの自動回帰トランスフォーマーデコーダのみのネットワークで、音声とテキストを含む様々なモーダルタスクを統合する。 まず、オフラインのニューラルエンコーダを用いて、全ての発話を個別のトークンに変換する。 さらに,タスクID(TID)と言語ID(LID)をモデルに統合し,異なる言語やタスクを扱うモデリング能力を向上させる。
  論文  参考訳（メタデータ） (2023-05-25T14:39:47Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Grafting Pre-trained Models for Multimodal Headline Generation [12.063053852096514]
  マルチモーダルヘッドラインはビデオフレームと書き起こしの両方を利用して、ビデオの自然言語タイトルを生成する。 事前学習された言語モデルとビデオ言語モデルに関するこれまでの研究は、下流タスクにおいて大きな進歩を遂げた。 本稿では,ビデオエンコーダを生成前学習言語モデル上に事前学習したビデオ言語モデルから移植する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T08:59:59Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)
• Lip-to-Speech Synthesis for Arbitrary Speakers in the Wild [44.92322575562816]
  本稿では,その変動の中で唇と音声列を関連付けることを学習するVAE-GANアーキテクチャを提案する。 私たちのジェネレータは、あらゆる人の唇のシーケンスに対して、あらゆる声で音声を合成することを学びます。 我々は、アーキテクチャの異なるモジュールの効果を分析するために、多数のアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2022-09-01T17:50:29Z)
• WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models [57.557319372969495]
  大量のテキストで事前訓練された大規模自動回帰言語モデルは、新しい自然言語タスクを実行するという印象的な能力を示している。 近年の研究では、エンコーダを訓練し、画像のエンコードを埋め込みにすることで、このような数発の学習能力をテキスト画像設定にまで拡張できることが示されている。 そこで我々は,wav2vecモデルを微調整して,言語モデルによって理解された音声埋め込みのシーケンスを生成する,新しい音声理解フレームワークWavPromptを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:08:55Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。