論文の概要: VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis

• arxiv url: http://arxiv.org/abs/2609.18632v1
• Date: Wed, 16 Sep 2026 13:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.817138
• Title: VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis
• Title（参考訳）: VibeAvatar: Avatar合成のための音声キネマティクスと人間の美学
• Abstract要約: マルチモーダル・トーキング・アバター合成は,レファレンス・ポートレートと音声からリアルなトーキング・ビデオを生成することを目的としている。 音声キネマティクス適応器(PKA)を用いて,音声の精度と動作美を両立させるVibeAvatarを提案する。 コンパクトな1Dワープベースの潜伏運動空間で動作する軽量なフローベースモーションジェネレータにより、VibeAvatarは、客観的メトリクスとユーザスタディの両方において、調音、美学、効率の最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 13.467649172806752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal talking avatar synthesis aims to generate realistic talking videos from a reference portrait and speech. Despite rapid progress in diffusion-based methods, existing approaches still struggle to jointly achieve accurate lip articulation, human-preferred motion aesthetics, and efficient inference. We observe that phonetic accuracy and motion aesthetics arise from fundamentally different sources and should be addressed at complementary stages rather than learned implicitly by a single generator. Based on this insight, we propose VibeAvatar, which disentangles these two objectives through a Phonetic Kinematics Adapter (PKA) that converts recognition-oriented speech features into phonetic-kinematic conditions at the conditioning stage, and an Aesthetic Motion Policy (AMP) that optimizes a flow-consistent stochastic sampling policy via Group Relative Policy Optimization (GRPO) at the post-training stage. With a lightweight flow-based motion generator operating in a compact 1D warp-based latent motion space, VibeAvatar achieves state-of-the-art results in articulation, aesthetics, and efficiency on both objective metrics and user studies, while generating a 10-second 512px video in under 10 seconds with only $\sim$3GB VRAM.
• Abstract（参考訳）: マルチモーダル・トーキング・アバター合成は,レファレンス・ポートレートと音声からリアルなトーキング・ビデオを生成することを目的としている。 拡散に基づく手法の急速な進歩にもかかわらず、既存のアプローチは、正確な唇調音、人間優先の運動美学、効率的な推論を共同で達成することに苦慮している。 音声の精度と動きの美学は基本的に異なるソースから生じており、単一の生成装置によって暗黙的に学習されるのではなく、補完的な段階で対処されるべきである。 そこで本研究では,これらの2つの目的を,認識指向音声特徴を条件付け段階における音韻運動状態に変換する音声キネマティクス適応器(PKA)と,学習段階におけるグループ相対ポリシー最適化(GRPO)によるフロー一貫性確率的サンプリングポリシを最適化する美的運動ポリシー(AMP)を通じて,分解するVibeAvatarを提案する。 コンパクトな1Dワープベースのラテントモーション空間で動作する軽量なフローベースモーションジェネレータにより、VibeAvatarは、10秒以下の512pxビデオをわずか$\sim$3GB VRAMで生成しながら、客観的な計測値とユーザスタディの両方において、最先端の成果を達成する。

関連論文リスト

• ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
  音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。 既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。 本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
  論文  参考訳（メタデータ） (2026-06-11T13:00:58Z)
• Mamba-Enhanced Implicit Motion Learning for Audio-Driven Portrait Animation [7.715774279707922]
  本研究では,1つの静止画像とオーディオから,現実的で時間的に整合した人間の動画を生成するための,新しい暗黙の移動フレームワークを提案する。 私たちのアプローチでは、レンダリングからモーション予測を分離する2段階のパイプラインを使用します。
  論文  参考訳（メタデータ） (2026-06-02T09:43:55Z)
• Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation [50.411841997631484]
  We present Unison, a unified framework that promote coherence across the motion, speech, and sound modalities。 We show that Unison achieves state-of-the-art performance in audio perceptual quality and cross-modal synchro。
  論文  参考訳（メタデータ） (2026-05-09T06:32:54Z)
• StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
  視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。 音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。 Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
  論文  参考訳（メタデータ） (2025-09-26T05:23:31Z)
• M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
  我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。 M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-07-11T04:48:12Z)
• FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis [12.987186425491242]
  本研究では,高忠実でコヒーレントな音声画像と制御可能なモーションダイナミックスを生成するための新しい枠組みを提案する。 最初の段階では、コヒーレントなグローバルな動きを確立するためにクリップレベルのトレーニングスキームを採用している。 第2段階では、リップトレーシングマスクを用いて、フレームレベルでの唇の動きを洗練し、音声信号との正確な同期を確保する。
  論文  参考訳（メタデータ） (2025-04-07T08:56:01Z)
• FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait [11.670159942656129]
  FLOATは,フローマッチング生成モデルに基づく音声駆動型音声画像生成手法である。 本手法は音声による感情強調をサポートし,表現運動の自然な取り込みを可能にする。
  論文  参考訳（メタデータ） (2024-12-02T02:50:07Z)
• Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation [29.87407471246318]
  この研究は、顔の動きを同期させ、視覚的に魅力的で時間的に一貫したアニメーションを作成する複雑さを掘り下げている。 我々の革新的なアプローチは、エンドツーエンドの拡散パラダイムを採用し、階層的な音声駆動視覚合成モジュールを導入しています。 提案した階層型音声駆動視覚合成は、表現の適応的な制御と多様性のポーズを提供し、異なるアイデンティティに合わせてより効果的なパーソナライゼーションを可能にする。
  論文  参考訳（メタデータ） (2024-06-13T04:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。