論文の概要: Proxy Avatar Meets Low-Rank Caching: Real-Time One-Shot Emotion-Controllable Portrait Animation
- arxiv url: http://arxiv.org/abs/2608.01978v1
- Date: Mon, 03 Aug 2026 09:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.47459
- Title: Proxy Avatar Meets Low-Rank Caching: Real-Time One-Shot Emotion-Controllable Portrait Animation
- Title（参考訳）: Proxy Avatarの低ランクキャッシング:リアルタイムのワンショット・エグゼクティブ・ポートレート・アニメーション
- Abstract要約: 本稿では,リアルタイムワンショット制御可能なポートレートアニメーションのためのフレームワークであるProxy Avatar Low-Rankchingを提案する。
提案手法は,より強い感情表現性,より優れたアイデンティティ保存アニメーション,そして推論コストを大幅に削減する。
- 参考スコア（独自算出の注目度）: 33.36600125036859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio-driven portrait animation has advanced rapidly with diffusion-based generative models, yet real-time one-shot generation with expressive emotion control remains challenging. Existing methods often suffer from insufficient emotion-aware motion priors and expensive appearance computation during multi-step denoising. To address these issues, we propose Proxy Avatar Meets Low-Rank Caching, a cascaded framework for real-time one-shot emotion-controllable portrait animation. Instead of directly generating the target portrait from audio, our method uses a Gaussian-based emotion proxy avatar as a reusable motion generator, which is trained once on a single identity to produce expressive driving videos from audio and emotion labels. Since the proxy avatar only provides motion rather than target appearance or geometry, a large-scale one-shot retargeting model further extracts identity-independent motion from the proxy performance and adapts it to arbitrary target portraits. To improve inference efficiency, we introduce zero-shot appearance reuse with low-rank caching, which caches reference appearance features at the initial denoising step and models subsequent feature variations using lightweight low-rank adapters. Extensive experiments demonstrate that our method achieves stronger emotional expressiveness, better identity-preserving animation, and substantially reduced inference cost, enabling real-time one-shot portrait animation.
- Abstract（参考訳）: 音声駆動のポートレートアニメーションは、拡散に基づく生成モデルによって急速に進歩しているが、表現力のある感情制御を備えたリアルタイムワンショット生成は依然として困難である。
既存の手法では、マルチステップのデノナイジング時に感情認識の動作が不十分で、高価な外観計算に悩まされることが多い。
これらの問題に対処するために、リアルタイムのワンショット感情制御可能なポートレートアニメーションのためのケースケードフレームワークであるProxy Avatar Meets Low-Rank Cachingを提案する。
音声からターゲットの肖像画を直接生成する代わりに,ガウスをベースとした感情プロキシアバターを再利用可能なモーションジェネレータとして使用し,音声や感情ラベルから表現力のある運転映像を生成する。
プロキシアバターは、ターゲットの外観や形状よりも動きのみを提供するので、大規模なワンショットリターゲティングモデルは、プロキシのパフォーマンスからアイデンティティ非依存の動作を抽出し、任意のターゲットのポートレートに適応する。
推論効率を向上させるため,低ランクキャッシングを用いたゼロショットの外観再利用を導入し,参照外観特徴を初期デノナイズステップでキャッシュし,それに続く特徴変化を軽量な低ランクアダプタを用いてモデル化する。
大規模な実験により, より強い感情表現性, より優れたアイデンティティ保存アニメーション, 推論コストを大幅に削減し, リアルタイムのワンショット・ポートレート・アニメーションを実現することができた。
関連論文リスト
- IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳（メタデータ） (2026-02-07T11:17:20Z) - DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations [31.845995837468536]
DeX-ポートレート(DeX-Portrait)は、アンタングルされたポーズと表現信号によって駆動される表現的ポートレートアニメーションを生成する新しい手法である。
まず、ポーズと表現エンコーダの両方を学習し、精密かつ分解された駆動信号を抽出する強力なモーショントレーナーを設計する。
実験の結果,本手法はアニメーション品質とアンタングル制御性の両方において,最先端のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2025-12-17T15:23:57Z) - PersonaLive! Expressive Portrait Image Animation for Live Streaming [53.63615310186964]
PersonaLiveは、リアルタイムのポートレートアニメーションをストリーミングするための、新しい拡散ベースのフレームワークである。
まず,暗黙の表情と3次元の暗黙のキーポイントというハイブリッドな暗黙の信号を用いて,表現力のある画像レベルの動作制御を実現する。
実験により、PersonaLiveは、従来の拡散ベースのポートレートアニメーションモデルよりも最大7-22倍のスピードアップで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-12-12T03:24:40Z) - Audio Driven Real-Time Facial Animation for Social Telepresence [65.66220599734338]
最小遅延時間で3次元顔アバターをアニメーションするオーディオ駆動リアルタイムシステムを提案する。
我々のアプローチの中心は、音声信号をリアルタイムに潜在表情シーケンスに変換するエンコーダモデルである。
我々は、リアルタイムなパフォーマンスを達成しつつ、自然なコミュニケーションに必要な表情の豊富なスペクトルを捉えている。
論文 参考訳（メタデータ） (2025-10-01T17:57:05Z) - Stable Video-Driven Portraits [52.008400639227034]
アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。
拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。
本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
論文 参考訳（メタデータ） (2025-09-22T08:11:08Z) - Follow-Your-Emoji-Faster: Towards Efficient, Fine-Controllable, and Expressive Freestyle Portrait Animation [72.20148916920944]
Follow-Your-Emoji-Fasterは、顔のランドマークによって駆動されるポートレートアニメーションのための効率的な拡散ベースのフレームワークである。
我々のモデルは、現実の顔、漫画、彫刻、動物など、さまざまな肖像画タイプにまたがる、コントロール可能な、表現可能なアニメーションをサポートします。
EmojiBench++は、さまざまなポートレート、動画の駆動、ランドマークシーケンスで構成される、より包括的なベンチマークである。
論文 参考訳（メタデータ） (2025-09-20T11:09:01Z) - X-Actor: Emotional and Expressive Long-Range Portrait Acting from Audio [27.619816538121327]
X-アクターは、単一の参照画像と入力オーディオクリップから、生き生きとした感情的に表現された音声ヘッドビデオを生成する。
視覚的・アイデンティティ的手がかりから切り離されたコンパクトな顔動作潜時空間で操作することにより、自己回帰拡散モデルは、音声と顔の動きの長距離相関を効果的に捉えることができる。
X-Actorは、標準的なトーキングヘッドアニメーションを超越した、魅力的なシネマティックなパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-08-04T22:57:01Z) - X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention [18.211762995744337]
本稿では,表現的かつ時間的コヒーレントなポートレートアニメーションを生成するための,革新的な条件拡散モデルであるX-Portraitを提案する。
外観参照として1つのポートレートが与えられた場合、駆動ビデオから得られる動きをアニメーション化し、非常にダイナミックかつ微妙な表情をキャプチャすることを目的としている。
実験により,X-ポートレートの多彩な顔画像および表現力のある運転シーケンスに対する普遍的効果が示された。
論文 参考訳（メタデータ） (2024-03-23T20:30:28Z) - GMTalker: Gaussian Mixture-based Audio-Driven Emotional Talking Video Portraits [60.05683966405544]
GMTalkerはガウスの混合合成による感情的な音声画像生成フレームワークである。
具体的には,よりフレキシブルな感情操作を実現するために,連続的かつ不整合な潜在空間を提案する。
また,多種多様な頭部ポーズ,瞬き,眼球運動を生成するために,大規模データセット上で事前訓練された正規化フローベースモーションジェネレータを導入する。
論文 参考訳（メタデータ） (2023-12-12T19:03:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。