論文の概要: X-Actor: Emotional and Expressive Long-Range Portrait Acting from Audio

• arxiv url: http://arxiv.org/abs/2508.02944v1
• Date: Mon, 04 Aug 2025 22:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.710107
• Title: X-Actor: Emotional and Expressive Long-Range Portrait Acting from Audio
• Title（参考訳）: X-アクター:オーディオから動く感情的・表現的ロングランジ・ポートレート
• Authors: Chenxu Zhang, Zenan Li, Hongyi Xu, You Xie, Xiaochen Zhao, Tianpei Gu, Guoxian Song, Xin Chen, Chao Liang, Jianwen Jiang, Linjie Luo,
• Abstract要約: X-アクターは、単一の参照画像と入力オーディオクリップから、生き生きとした感情的に表現された音声ヘッドビデオを生成する。 視覚的・アイデンティティ的手がかりから切り離されたコンパクトな顔動作潜時空間で操作することにより、自己回帰拡散モデルは、音声と顔の動きの長距離相関を効果的に捉えることができる。 X-Actorは、標準的なトーキングヘッドアニメーションを超越した、魅力的なシネマティックなパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 27.619816538121327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present X-Actor, a novel audio-driven portrait animation framework that generates lifelike, emotionally expressive talking head videos from a single reference image and an input audio clip. Unlike prior methods that emphasize lip synchronization and short-range visual fidelity in constrained speaking scenarios, X-Actor enables actor-quality, long-form portrait performance capturing nuanced, dynamically evolving emotions that flow coherently with the rhythm and content of speech. Central to our approach is a two-stage decoupled generation pipeline: an audio-conditioned autoregressive diffusion model that predicts expressive yet identity-agnostic facial motion latent tokens within a long temporal context window, followed by a diffusion-based video synthesis module that translates these motions into high-fidelity video animations. By operating in a compact facial motion latent space decoupled from visual and identity cues, our autoregressive diffusion model effectively captures long-range correlations between audio and facial dynamics through a diffusion-forcing training paradigm, enabling infinite-length emotionally-rich motion prediction without error accumulation. Extensive experiments demonstrate that X-Actor produces compelling, cinematic-style performances that go beyond standard talking head animations and achieves state-of-the-art results in long-range, audio-driven emotional portrait acting.
• Abstract（参考訳）: 我々は,単一の参照画像と入力音声クリップから,ライフスタイルで感情的に表現された音声ヘッドビデオを生成する,新しいオーディオ駆動型ポートレートアニメーションフレームワークであるX-アクターを提案する。 制約された発話シナリオにおいて、唇の同期と短距離の視覚的忠実さを強調する従来の方法とは異なり、X-アクターは、声のリズムと内容と整合的に流れる動的に進化する感情を、俳優品質のロングフォームな肖像画のパフォーマンスをキャプチャすることを可能にする。 音声条件付き自己回帰拡散モデルでは、長時間の時間的コンテキストウィンドウ内で、表現的かつ同一性に依存しない顔の動きの潜在トークンを予測し、拡散に基づくビデオ合成モジュールにより、これらの動きを高忠実度ビデオアニメーションに変換する。 我々の自己回帰拡散モデルは、視覚的・アイデンティティ的キューから切り離されたコンパクトな顔の動き潜在空間で操作することにより、拡散強制訓練パラダイムを通じて、音声と顔のダイナミクスの長距離相関を効果的に捉え、エラー蓄積なしに無限長の感情に富んだ動き予測を可能にする。 広範にわたる実験により、X-アクターは、標準的なトーキングヘッドアニメーションを超えて、長距離、オーディオ駆動の情緒的な演技で最先端の成果をもたらす、魅力的なシネマティックなパフォーマンスを生み出すことが示された。

関連論文リスト

• Shushing! Let's Imagine an Authentic Speech from the Silent Video [15.426152742881365]
  視覚誘導音声生成は、聴覚信号に頼ることなく、顔の外観や唇の動きから真の音声を生成することを目的としている。 近年の進歩にもかかわらず、既存の手法は視覚的手がかりから意味論、音色、感情的な韻律を横断的に統一するのに苦労している。 ImaginTalkは、視覚入力のみを用いて忠実な音声を生成する新しいクロスモーダル拡散フレームワークである。
  論文  参考訳（メタデータ） (2025-03-19T06:28:17Z)
• SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion [78.77211425667542]
  SayAnythingは、オーディオ入力から唇の動きを直接合成する条件付きビデオ拡散フレームワークである。 我々の新しい設計は、潜在空間における異なる条件信号のバランスを効果的に保ち、外観、動き、地域固有の生成を正確に制御できる。
  論文  参考訳（メタデータ） (2025-02-17T07:29:36Z)
• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• GoHD: Gaze-oriented and Highly Disentangled Portrait Animation with Rhythmic Poses and Realistic Expression [33.886734972316326]
  GoHDは、非常にリアルで表現力があり、コントロール可能なポートレートビデオを作成するために設計されたフレームワークである。 潜時ナビゲーションを利用したアニメーションモジュールを導入し、目に見えない入力スタイルの一般化能力を向上させる。 コンホメータ構造付き条件拡散モデルは、韻律を意識した頭部ポーズを保証するように設計されている。 2段階のトレーニング戦略は、より時間依存的ではあるが、音声関連の少ない動きの発生から、頻繁でフレームワイドな唇運動蒸留を分離するために考案された。
  論文  参考訳（メタデータ） (2024-12-12T14:12:07Z)
• MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation [55.95148886437854]
  メモリ誘導EMO (Memory-guided EMOtion-aware diffusion) は、音声による映像を生成するエンドツーエンドのポートレートアニメーション手法である。 MEMOは、多様な画像とオーディオタイプ、全体的な品質、オーディオ-リップ同期、アイデンティティの整合性、表現-感情アライメントにおいて、よりリアルな会話ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-05T18:57:26Z)
• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• LinguaLinker: Audio-Driven Portraits Animation with Implicit Facial Control Enhancement [8.973545189395953]
  本研究では,拡散に基づく手法による視覚的に魅力的な時間同期アニメーションの作成に焦点をあてる。 我々は音声の特徴を別々に処理し、画像の出自に関わらず、口、目、頭の動きを暗黙的に制御する対応する制御ゲートを導出する。 アニメーションポートレートの忠実さ,リップシンクの正確さ,および本手法により達成された適切な動作変化の大幅な改善により,任意の言語でポートレートをアニメーションするための汎用ツールとなった。
  論文  参考訳（メタデータ） (2024-07-26T08:30:06Z)
• Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation [29.87407471246318]
  この研究は、顔の動きを同期させ、視覚的に魅力的で時間的に一貫したアニメーションを作成する複雑さを掘り下げている。 我々の革新的なアプローチは、エンドツーエンドの拡散パラダイムを採用し、階層的な音声駆動視覚合成モジュールを導入しています。 提案した階層型音声駆動視覚合成は、表現の適応的な制御と多様性のポーズを提供し、異なるアイデンティティに合わせてより効果的なパーソナライゼーションを可能にする。
  論文  参考訳（メタデータ） (2024-06-13T04:33:20Z)
• DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation [75.90730434449874]
  DREAM-Talkは2段階の拡散に基づく音声駆動フレームワークで,多彩な表現と正確な唇同期の同時生成に適したフレームワークである。 唇の動きと音声との強い相関を考慮し、音声特徴と感情スタイルを用いて、唇同期精度を向上して力学を洗練する。 定量的かつ質的にも、DREAM-Talkは表現性、リップシンクの精度、知覚品質の点で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-21T05:03:18Z)
• Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation [28.157431757281692]
  本研究では,高忠実度表情と頭部動作を合成するテキストベーストーキングヘッドビデオ生成フレームワークを提案する。 本フレームワークは,話者に依存しないステージと話者固有のステージから構成される。 本アルゴリズムは,様々な表情や頭部の動きを含む高品質なフォトリアリスティックなトーキングヘッドビデオを実現する。
  論文  参考訳（メタデータ） (2021-04-16T09:44:12Z)
• Audio-Driven Emotional Video Portraits [79.95687903497354]
  Emotional Video Portraits(EVP)は、オーディオによって駆動される鮮やかな感情的なダイナミクスで高品質のビデオポートレートを合成するシステムです。 具体的には,音声を2つの分離空間に分解するクロスリコンストラクテッド感情不等角化手法を提案する。 ゆがんだ特徴によって、動的2D感情的な顔のランドマークは推定することができます。 次に,最終的な高品質映像画像を生成するために,ターゲット適応型顔合成手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T13:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。