論文の概要: Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

• arxiv url: http://arxiv.org/abs/2608.15690v1
• Date: Sun, 16 Aug 2026 11:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.39254
• Title: Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer
• Title（参考訳）: ゼロ初期化層を用いたテキスト・ビデオ・モデルへの音声のクローン化
• Abstract要約: ベースとなるT2AVモデルは,音声バックボーン上に1つのゼロ次元線形層を追加することで,音声閉包モデルに変換可能であることを示す。 アーキテクチャの副産物は、推論時にビデオパスなしでオーディオパスを評価することができ、完全なオーディオビデオ拡散ループよりも30倍のスピードアップが得られることである。
• 参考スコア（独自算出の注目度）: 1.5678079269619796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-audio-video (T2AV) generation models produce a video and its soundtrack from a textual description, but offer no control over whose voice speaks in the output. We show that a base T2AV model can be turned into a voice-cloning model by adding a single zero-initialized linear layer on top of its audio backbone, fine-tuning for a comparatively short training schedule, and conditioning on a short reference recording at inference time. The reference is injected through two complementary signals: its diffusion latents are prepended to the audio stream, and a global speaker embedding modulates token of the target audio. On a benchmark of 674 speaker-text pairs spanning 30 speakers we compare against five strong voice-cloning text-to-speech baselines: our enhanced 5B model attains the highest speaker-encoder cosine similarity (SECS) across three independent verification networks (ECAPA-TDNN, WavLM-SV, Resemblyzer), statistically significantly outperforming every baseline. A side product of the architecture is that the audio path can be evaluated without the video path at inference time, yielding a ~30x speed-up over the full audio-video diffusion loop while preserving the voice-cloning behaviour.
• Abstract（参考訳）: テキスト・トゥ・オーディオ・ビデオ(T2AV)生成モデルは、ビデオとそのサウンドトラックをテキスト記述から生成するが、出力中の音声を制御しない。 ベースとなるT2AVモデルは、音声バックボーン上に1つのゼロ初期化線形層を付加し、比較的短いトレーニングスケジュールを微調整し、推論時に短い参照記録を条件付けすることにより、音声閉鎖モデルに変換可能であることを示す。 参照は2つの相補的な信号を通して注入される:その拡散潜水剤はオーディオストリームに前置され、大域的な話者埋め込みはターゲットオーディオのトークンを変調する。 拡張された5Bモデルは、3つの独立した検証ネットワーク(ECAPA-TDNN, WavLM-SV, Resemblyzer)で最高の話者エンコーダコサイン類似性(SECS)を達成し、統計的にすべてのベースラインを上回ります。 アーキテクチャの副産物は、音声経路を推論時にビデオパスなしで評価でき、音声の閉鎖動作を保ちながら、全映像拡散ループの約30倍のスピードアップが得られることである。

関連論文リスト

• TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
  TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。 本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。 このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
  論文  参考訳（メタデータ） (2026-09-08T13:03:46Z)
• Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
  我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。 Audexは単一のTransformerデコーダで単純な統一設計を採用する。 Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
  論文  参考訳（メタデータ） (2026-07-06T15:11:57Z)
• TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation [45.08904139559434]
  本研究では,音声駆動音声ビデオ生成のための大規模オープンコーパスであるTalkVerseを紹介する。 TalkVerseは230万の高解像度(720p/1080p)のオーディオビデオ同期クリップを提供する。 これらは透明なパイプラインを通じて60k時間以上のビデオから収集される。
  論文  参考訳（メタデータ） (2025-12-16T22:01:08Z)
• SoundReactor: Frame-level Online Video-to-Audio Generation [39.113214321291586]
  Video-to-Audio生成モデルは、ビデオシーケンス全体やフレームのチャンクが事前に用意されていることを前提として、オフラインで動作する。 本稿では,フレームレベルのオンラインV2A生成の新たな課題を紹介する。 SoundReactorは、このタスク用に明示的に調整された、最初のシンプルで効果的なフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T15:18:00Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Text-to-Audio Generation Synchronized with Videos [44.848393652233796]
  我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。 また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。 ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
  論文  参考訳（メタデータ） (2024-03-08T22:27:38Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• SoundStorm: Efficient Parallel Audio Generation [27.121920017380273]
  本研究では,効率的な非自己回帰音声生成モデルSoundStormを提案する。 SoundStormはAudioLMのセマンティックトークンとして受け取られ、双方向の注意と信頼に基づく並列デコーディングに依存している。 我々は,高品質な自然な対話セグメントを合成することにより,より長いシーケンスに音声生成を拡張できることを実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:41:25Z)
• Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models [65.18102159618631]
  マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。 高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。 本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
  論文  参考訳（メタデータ） (2023-01-30T04:44:34Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。