Fugu-MT 論文翻訳(概要): AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D Talking Face Generation

論文の概要: AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D Talking Face Generation

arxiv url: http://arxiv.org/abs/2402.16124v1
Date: Sun, 25 Feb 2024 15:51:05 GMT
ステータス: 処理完了
システム内更新日: 2024-02-27 15:11:26.535954
Title: AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D Talking Face Generation
Title（参考訳）: AVI-Talking:3次元表情生成のための聴覚教育
Authors: Yasheng Sun, Wenqing Chu, Hang Zhou, Kaisiyuan Wang, Hideki Koike
Abstract要約: 本稿では,表情生成のための音声・視覚指導システムを提案する。人間の音声から直接顔の動きを学習する代わりに、私たちの2段階の戦略はLLMが最初に音声情報を解釈することを含む。この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに命令を理解する柔軟性を提供する。
参考スコア（独自算出の注目度）: 28.71632683090641
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While considerable progress has been made in achieving accurate lip synchronization for 3D speech-driven talking face generation, the task of incorporating expressive facial detail synthesis aligned with the speaker's speaking status remains challenging. Our goal is to directly leverage the inherent style information conveyed by human speech for generating an expressive talking face that aligns with the speaking status. In this paper, we propose AVI-Talking, an Audio-Visual Instruction system for expressive Talking face generation. This system harnesses the robust contextual reasoning and hallucination capability offered by Large Language Models (LLMs) to instruct the realistic synthesis of 3D talking faces. Instead of directly learning facial movements from human speech, our two-stage strategy involves the LLMs first comprehending audio information and generating instructions implying expressive facial details seamlessly corresponding to the speech. Subsequently, a diffusion-based generative network executes these instructions. This two-stage process, coupled with the incorporation of LLMs, enhances model interpretability and provides users with flexibility to comprehend instructions and specify desired operations or modifications. Extensive experiments showcase the effectiveness of our approach in producing vivid talking faces with expressive facial movements and consistent emotional status.
Abstract（参考訳）: 3次元音声駆動型発話表情生成のための正確な唇同期の実現には相当な進歩があるが、話し手の発話状態に合わせて表情詳細合成を表現的に組み込む作業はいまだに困難である。我々のゴールは、人間の発話によって伝達される固有のスタイル情報を直接活用し、話し言葉の状態と一致した表現力のある話し声を生成することである。本稿では,表現力のある発話顔生成のための音声-視覚インストラクションシステムであるAVI-Talkingを提案する。このシステムは,Large Language Models (LLMs) が提供する強靭な文脈推論と幻覚機能を利用して,3次元音声の現実的な合成を指導する。人間の音声から直接顔の動きを学習する代わりに、LLMが最初に音声情報を解釈し、音声に対応する表情の詳細をシームレスに表現する指示を生成する。その後、拡散に基づく生成ネットワークがこれらの命令を実行する。この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに指示を理解し、望ましい操作や修正を指定する柔軟性を提供する。広汎な実験は,表現力のある顔の動きと一貫した感情的状態を持つ鮮明な話し声を生み出す方法の有効性を示した。

関連論文リスト

GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
論文参考訳（メタデータ） (2024-11-27T18:54:08Z)
JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation [24.2065254076207]
共同表現と音声誘導による発話顔生成のための新しい手法を提案する。提案手法は,高忠実度音声映像を合成し,最先端の表情伝達を実現する。
論文参考訳（メタデータ） (2024-09-18T17:18:13Z)
GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
論文参考訳（メタデータ） (2023-12-12T16:00:55Z)
Personalized Speech-driven Expressive 3D Facial Animation Synthesis with Style Control [1.8540152959438578]
現実的な顔アニメーションシステムは、自然性や妥当性の高次化を実現するために、アイデンティティ固有の話し方や顔の慣用性を考慮すべきである。音声駆動型表情表現3次元顔画像合成フレームワークを提案する(スタイルと呼ばれる)。我々のフレームワークはエンドツーエンドで訓練されており、3つの主要コンポーネントを持つ非自己回帰エンコーダデコーダアーキテクチャを備えている。
論文参考訳（メタデータ） (2023-10-25T21:22:28Z)
DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文参考訳（メタデータ） (2023-08-23T04:14:55Z)
Visual-Aware Text-to-Speech [101.89332968344102]
テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
論文参考訳（メタデータ） (2023-06-21T05:11:39Z)
FaceXHuBERT: Text-less Speech-driven E(X)pressive 3D Facial Animation Synthesis Using Self-Supervised Speech Representation Learning [0.0]
FaceXHuBERTは、テキストレス音声駆動の3D顔アニメーション生成方法である。背景雑音に対して非常に頑丈で、様々な状況で録音された音声を処理できる。アニメーションの写実性に関しては78%の精度で優れた結果が得られる。
論文参考訳（メタデータ） (2023-03-09T17:05:19Z)
Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。本稿では,音声による表情合成手法であるImitatorについて述べる。提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
論文参考訳（メタデータ） (2022-12-30T19:00:02Z)
Joint Audio-Text Model for Expressive Speech-Driven 3D Facial Animation [46.8780140220063]
本稿では,表情駆動型3次元顔画像の文脈情報を取得するための共同音声テキストモデルを提案する。我々の仮説は、音声と強く相関しない上面表現のバリエーションを曖昧にすることができるというものである。音声と音声の同期を保ちながら現実的な表情を合成できることを示す。
論文参考訳（メタデータ） (2021-12-04T01:37:22Z)
Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation [28.157431757281692]
本研究では,高忠実度表情と頭部動作を合成するテキストベーストーキングヘッドビデオ生成フレームワークを提案する。本フレームワークは,話者に依存しないステージと話者固有のステージから構成される。本アルゴリズムは,様々な表情や頭部の動きを含む高品質なフォトリアリスティックなトーキングヘッドビデオを実現する。
論文参考訳（メタデータ） (2021-04-16T09:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。