論文の概要: KM-Speaker: Keypoint-Based Style Control for High-Quality Speech-Driven 3D Facial Animation and Dialogue Localization
- arxiv url: http://arxiv.org/abs/2606.28568v1
- Date: Fri, 26 Jun 2026 19:48:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.603603
- Title: KM-Speaker: Keypoint-Based Style Control for High-Quality Speech-Driven 3D Facial Animation and Dialogue Localization
- Title（参考訳）: KM-Speaker:ハイクオリティ音声駆動型3次元顔アニメーションと対話局所化のためのキーポイント型スタイル制御
- Abstract要約: KM-Speakerは、音声駆動型3D顔アニメーションのためのキーポイント条件付きフローベース生成フレームワークである。
グローバルスタイルのガイダンスと、参照パフォーマンスからのフレームレベルの時間制御の両方を提供する。
KM-Speakerは、リップシンクの精度、スタイルの忠実さ、表現力のある時間制御において、最先端の手法よりも一貫して優れている。
- 参考スコア（独自算出の注目度）: 8.476386736680002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-driven 3D facial animation methods face significant challenges in simultaneously achieving high-fidelity motion and precise artistic control at production quality. Existing controllable models typically learn global style control by relying on large-scale, low-quality \emph{in-the-wild} datasets that compromise overall animation realism. Furthermore, these frameworks often lack the fine-grained temporal precision required for demanding tasks such as dialogue localization (e.g., dubbing), where matching specific facial expressions is as critical as lip synchronization. We present KM-Speaker (Keypoint-Matching Speaker), a novel keypoint-conditioned flow-based generative framework that provides both global style guidance and frame-level temporal control from reference performances. We propose a disentanglement strategy that separates audio-driven lip motion from keypoint-driven upper-face dynamics, together with a global style context preservation mechanism to ensure coherent full-face expressiveness. KM-Speaker advances example-based 3D facial animation by achieving high-fidelity motion and flexible controllability in a data-constrained setting, consistently outperforming state-of-the-art methods in lip-sync accuracy, style adherence, and expressive temporal control.
- Abstract（参考訳）: 音声駆動型3D顔アニメーション法は、高忠実度動作と正確な芸術的制御を生産品質で同時に達成する上で、重要な課題に直面している。
既存のコントロール可能なモデルは、アニメーションリアリズム全体を損なうような大規模で低品質な 'emph{in-the-wild} データセットを頼りにすることで、グローバルなスタイル制御を学ぶのが一般的である。
さらに、これらのフレームワークは、特定の表情の一致が唇の同期と同等に重要となる対話の局所化(例えば、ダビング)のようなタスクを要求するのに必要な微妙な時間的精度を欠いていることが多い。
提案するKM-Speaker(Keypoint-Matching Speaker)は,グローバルなスタイルガイダンスとフレームレベルの時間的制御を基準性能から提供する,キーポイント条件付きフローベース生成フレームワークである。
本稿では,音声による唇の動きをキーポイント駆動の上面ダイナミクスから分離するアンタングル化戦略と,コヒーレントな顔表現性を確保するためのグローバルスタイルのコンテキスト保存機構を提案する。
KM-Speakerは、高忠実度動作とフレキシブルな制御性をデータ制約設定で達成し、リップシンク精度、スタイルの忠実度、表現力のある時間的制御において、常に最先端の手法より優れる。
関連論文リスト
- EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units [28.454399017725006]
EmoZone-Talkerは、音声による顔のアニメーションを構造化された時空間調整問題として再構成する新しいフレームワークである。
提案手法は,上面の精度と時間的コヒーレンスを顕著に向上させ,表現制御性とリアリズムを向上させる。
論文 参考訳（メタデータ） (2026-06-14T15:10:05Z) - ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。
既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。
本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
論文 参考訳（メタデータ） (2026-06-11T13:00:58Z) - UMo: Unified Sparse Motion Modeling for Real-Time Co-Speech Avatars [25.55654497627044]
UMoは、リアルタイム音声アバターのための統一されたスパースモーションモデリングアーキテクチャである。
リアルタイムの高密度再構成を効率よく行い、時間的コヒーレントかつ高忠実なアニメーション生成を可能にする。
厳密なレイテンシ制約の下でも、きめ細かな音声-動きのアライメントを保ちます。
論文 参考訳（メタデータ） (2026-05-14T11:56:03Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - MIRRORTALK: Forging Personalized Avatars Via Disentangled Style and Hierarchical Motion Control [42.87874090062771]
MirrorTalkは条件付き拡散モデルに基づく生成フレームワークである。
簡単な参照ビデオから純粋なスタイルの表現を抽出することができる。
リップシンク精度とパーソナライズ保存の観点から,最先端手法に対する大幅な改善を実現している。
論文 参考訳（メタデータ） (2026-01-30T03:23:01Z) - PTalker: Personalized Speech-Driven 3D Talking Head Animation via Style Disentanglement and Modality Alignment [19.347893658924367]
PTalkerは、パーソナライズされた3Dトーキングヘッドアニメーションのための新しいフレームワークである。
音声と顔の動きシーケンスからのスタイルの切り離しを通じて、話し方を保存する。
オーディオとメッシュの3レベルアライメント機構によって、リップ同期の精度を向上させる。
論文 参考訳（メタデータ） (2025-12-27T14:14:14Z) - InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。
無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。
HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文 参考訳（メタデータ） (2025-08-19T17:55:23Z) - Model See Model Do: Speech-Driven Facial Animation with Style Control [14.506128477193991]
音声駆動の3D顔アニメーションは、仮想アバター、ゲーム、デジタルコンテンツ作成などのアプリケーションにおいて重要な役割を果たす。
既存の手法は、正確な唇同期を実現し、基本的な感情表現を生成するために大きな進歩を遂げてきた。
本稿では,参照スタイルクリップ上で遅延拡散モデルを条件とした新しい例ベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-02T14:47:21Z) - Audio-Plane: Audio Factorization Plane Gaussian Splatting for Real-Time Talking Head Synthesis [56.749927786910554]
本稿では,ガウススティングと構造化オーディオファクトリゼーションプレーン(Audio-Plane)を統合し,高品質,音声同期,リアルタイム音声ヘッド生成を実現する新しいフレームワークを提案する。
提案手法は,最先端の視覚的品質,正確なオーディオ-リップ同期,リアルタイム性能を実現し,従来の2次元および3次元のパラダイムよりも優れていた。
論文 参考訳（メタデータ） (2025-03-28T16:50:27Z) - PortraitTalk: Towards Customizable One-Shot Audio-to-Talking Face Generation [48.94486508604052]
そこで我々は,PortraitTalkという,ワンショット音声駆動音声生成フレームワークを新たに導入した。
提案手法は,IdentityNetとAnimateNetの2つの主要コンポーネントからなる遅延拡散フレームワークを利用する。
PortraitTalkの鍵となる革新は、疎結合のクロスアテンション機構を通じてテキストプロンプトを組み込むことである。
論文 参考訳（メタデータ） (2024-12-10T18:51:31Z) - Pose-Controllable 3D Facial Animation Synthesis using Hierarchical
Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。
提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文 参考訳（メタデータ） (2023-02-24T09:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。