論文の概要: AnyTalk: Speech Animation for Arbitrary Characters Leveraging a Video Generation Model
- arxiv url: http://arxiv.org/abs/2608.16143v1
- Date: Mon, 17 Aug 2026 05:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.548708
- Title: AnyTalk: Speech Animation for Arbitrary Characters Leveraging a Video Generation Model
- Title（参考訳）: AnyTalk:ビデオ生成モデルを利用した任意キャラクタのための音声アニメーション
- Abstract要約: 我々は,任意の文字に対して,アニメーションデータを必要としない3次元音声アニメーションを生成する新しい方法であるAnyTalkを提案する。
まず,予め学習した映像拡散モデルをキャラクタ固有の微調整手法により対象文字に適応させる。
そして、混合形状パラメーターを推定することにより、3次元音声アニメーションに合成した音声ヘッド映像をアップリフトする。
- 参考スコア（独自算出の注目度）: 14.363854681138669
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present AnyTalk, a novel method for generating 3D speech animations for arbitrary characters without requiring any animation data. While existing audio-driven 3D speech animation methods rely on character-specific training data or laborious rigging/re-meshing, AnyTalk circumvents these limitations by leveraging recent video diffusion models trained on extensive video datasets. We first adapt a pre-trained video diffusion model to a target character through our Character-specific Fine-tuning (\textit{CsF}) technique. By fine-tuning on rendered images of the 3D character paired with zeroed-out audio embeddings (representing "no motion"), we eliminate the need for animation data while preserving the motion prior of large-scale video diffusion model. We then uplift the resulting talking-head video into a 3D speech animation by estimating blendshape parameters through a proposed optimization process. AnyTalk enables lip-synced animations across diverse face meshes and blendshape configurations, significantly reducing manual effort and data requirements. We further enhance usability by distilling AnyTalk into a streamlined network, $\text{AnyTalk}_{RT}$, thereby enabling real-time performance. By leveraging talking-head video generation, our method broadens access to audio-driven speech animation technology for arbitrary characters. The code is publicly available at https://serin-yoon.github.io/projects/anytalk/.
- Abstract（参考訳）: 我々は,任意の文字に対して,アニメーションデータを必要としない3次元音声アニメーションを生成する新しい方法であるAnyTalkを提案する。
既存の音声駆動の3D音声アニメーション法は、文字固有のトレーニングデータや、精巧なリギング/リメッシングに依存しているが、AnyTalkは、ビデオデータセットで訓練された最近のビデオ拡散モデルを活用することによって、これらの制限を回避する。
まず,予め学習した映像拡散モデルを,キャラクタ固有のファインチューニング(\textit{CsF})技術により対象文字に適応させる。
ゼロアウトオーディオ埋め込みと組み合わせた3Dキャラクタの描画画像を微調整することで、大規模なビデオ拡散モデルに先立って動きを保ちながらアニメーションデータの必要性を解消する。
そして,提案した最適化プロセスを通じて混合形状パラメータを推定することにより,得られた音声ヘッド映像を3次元音声アニメーションにアップリフトする。
AnyTalkは、さまざまなフェイスメッシュとブレンドシェープ構成にわたるリップシンクアニメーションを可能にし、手作業やデータ要件を大幅に削減する。
我々は、AnyTalkを合理化されたネットワーク、$\text{AnyTalk}_{RT}$に蒸留することで、ユーザビリティをさらに向上し、リアルタイムのパフォーマンスを実現する。
本手法は,音声による任意のキャラクタに対する音声駆動型音声アニメーション技術へのアクセスを拡大する。
コードはhttps://serin-yoon.github.io/projects/anytalk/で公開されている。
関連論文リスト
- StreamingTalker: Audio-driven 3D Facial Animation with Autoregressive Diffusion Model [73.30619724574642]
音声駆動型3D顔アニメーションは、音声入力によって駆動される現実的で同期された顔の動きを生成することを目的としている。
近年,3次元顔アニメーションに音声条件拡散モデルが採用されている。
本稿では,ストリーミング方式で音声を処理する自己回帰拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-11-18T07:55:16Z) - Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。
入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
論文 参考訳（メタデータ） (2025-03-20T10:00:22Z) - GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。
本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
論文 参考訳（メタデータ） (2024-11-27T18:54:08Z) - 3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing [22.30870274645442]
3DiFACEは、音声による顔のアニメーションと編集をパーソナライズする新しい方法である。
提案手法は,既存の最先端技術より優れ,忠実度と多様性が向上した音声駆動型アニメーションを実現する。
論文 参考訳（メタデータ） (2023-12-01T19:01:05Z) - FaceDiffuser: Speech-Driven 3D Facial Animation Synthesis Using
Diffusion [0.0]
音声駆動型顔アニメーションを生成するための非決定論的ディープラーニングモデルFaceDiffuserを提案する。
提案手法は拡散法に基づいて,事前学習した大規模音声表現モデル HuBERT を用いて音声入力を符号化する。
また、ブレンドシェープに基づくリップキャラクタに基づく、新たな社内データセットも導入する。
論文 参考訳（メタデータ） (2023-09-20T13:33:00Z) - Learning Audio-Driven Viseme Dynamics for 3D Face Animation [17.626644507523963]
入力音声からリアルな唇同期3Dアニメーションを生成できる,新しい音声駆動型顔アニメーション手法を提案する。
提案手法は,音声ビデオからビセメダイナミクスを学習し,アニメーターフレンドリーなビセメ曲線を生成し,多言語音声入力をサポートする。
論文 参考訳（メタデータ） (2023-01-15T09:55:46Z) - MeshTalk: 3D Face Animation from Speech using Cross-Modality
Disentanglement [142.9900055577252]
本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。
このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
論文 参考訳（メタデータ） (2021-04-16T17:05:40Z) - Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。
本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。
われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
論文 参考訳（メタデータ） (2021-02-13T01:05:39Z) - Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances [7.7824496657259665]
本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
論文 参考訳（メタデータ） (2020-09-02T09:46:12Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。