論文の概要: ICo3D: An Interactive Conversational 3D Virtual Human
- arxiv url: http://arxiv.org/abs/2601.13148v1
- Date: Mon, 19 Jan 2026 15:30:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.954167
- Title: ICo3D: An Interactive Conversational 3D Virtual Human
- Title（参考訳）: ICo3D:対話型対話型3Dバーチャルヒューマン
- Authors: Richard Shaw, Youngkyoon Jang, Athanasios Papaioannou, Arthur Moreau, Helisa Dhamo, Zhensong Zhang, Eduardo Pérez-Pellitero,
- Abstract要約: 対話型会話型3D仮想人間(Interactive Conversational 3D Virtual Human, ICo3D)は、対話型、対話型、3D人間のアバターを生成する方法である。
我々はアニマタブルな3D顔モデルとダイナミックな3Dボディモデルを作成し、どちらもガウス原始体をスプラッティングすることでレンダリングする。
会話中、アバターの音声音声は、顔モデルをアニメーション化するための駆動信号として使用され、正確な同期を可能にする。
- 参考スコア（独自算出の注目度）: 20.10210358626146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents Interactive Conversational 3D Virtual Human (ICo3D), a method for generating an interactive, conversational, and photorealistic 3D human avatar. Based on multi-view captures of a subject, we create an animatable 3D face model and a dynamic 3D body model, both rendered by splatting Gaussian primitives. Once merged together, they represent a lifelike virtual human avatar suitable for real-time user interactions. We equip our avatar with an LLM for conversational ability. During conversation, the audio speech of the avatar is used as a driving signal to animate the face model, enabling precise synchronization. We describe improvements to our dynamic Gaussian models that enhance photorealism: SWinGS++ for body reconstruction and HeadGaS++ for face reconstruction, and provide as well a solution to merge the separate face and body models without artifacts. We also present a demo of the complete system, showcasing several use cases of real-time conversation with the 3D avatar. Our approach offers a fully integrated virtual avatar experience, supporting both oral and written form interactions in immersive environments. ICo3D is applicable to a wide range of fields, including gaming, virtual assistance, and personalized education, among others. Project page: https://ico3d.github.io/
- Abstract（参考訳）: 本研究は,対話型,対話型,フォトリアリスティックな3Dアバターを生成するための対話型会話型3D仮想人間(ICo3D)を提案する。
被写体のマルチビューキャプチャーに基づいて、ガウス原始体をスプラッティングすることで、アニマタブルな3次元顔モデルとダイナミックな3次元体モデルを作成する。
一度結合すると、リアルタイムのユーザーインタラクションに適した、生きた人間の仮想アバターが表現される。
我々は会話能力のためのLLMをアバターに装備する。
会話中、アバターの音声音声は、顔モデルをアニメーション化するための駆動信号として使用され、正確な同期を可能にする。
身体再構成のためのSWinGS++と顔再構成のためのHeadGaS++と、アーチファクトなしで別の顔と体モデルをマージするためのソリューションを提供する。
また,3Dアバターを用いたリアルタイム会話のいくつかの利用事例を紹介する。
我々のアプローチは、完全に統合された仮想アバター体験を提供し、没入環境における口頭と書体の両方の相互作用をサポートする。
ICo3Dはゲーム、バーチャルアシスタント、パーソナライズされた教育など幅広い分野に適用できる。
プロジェクトページ: https://ico3d.github.io/
関連論文リスト
- Generalizable and Animatable 3D Full-Head Gaussian Avatar from a Single Image [9.505520774467263]
単一の画像から3Dアニマタブルな頭部アバターを構築することは重要な問題ですが、難しい問題です。
既存の方法は通常、大きなカメラポーズのバリエーションの下で崩壊し、3Dアバターのリアリズムを損なう。
本研究では,1回のフィードフォワードパスで1発の3Dフルヘッドアニマタブルアバター再構成を実現するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2026-01-19T06:56:58Z) - MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars [18.907017120867827]
我々は、単一の参照画像とターゲット表現に基づいて、デジタル人間のアニマタブルなマルチビュービデオを生成するビデオモデルを構築した。
MVP4Dは、最先端の訓練済みビデオ拡散モデルに基づいており、対象物体の周囲に最大360度まで変化する視点から数百フレームを同時に生成する。
論文 参考訳（メタデータ） (2025-10-14T17:56:14Z) - AdaHuman: Animatable Detailed 3D Human Generation with Compositional Multiview Diffusion [56.12859795754579]
AdaHumanは、単一のアプリ内画像から高忠実でアニマタブルな3Dアバターを生成する新しいフレームワークである。
AdaHumanはポーズ条件付き3D共同拡散モデルと合成3DGS精製モジュールという2つの重要なイノベーションを取り入れている。
論文 参考訳（メタデータ） (2025-05-30T17:59:54Z) - EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。
EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。
この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
論文 参考訳（メタデータ） (2025-05-21T11:22:52Z) - DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。
本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:52:03Z) - Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis [88.17520303867099]
ワンショットの3Dトーキングポートレート生成は、目に見えない画像から3Dアバターを再構成し、参照ビデオやオーディオでアニメーション化する。
本稿では,大規模な画像-平面モデルを用いて,ワンショット3D再構成能力を向上させるフレームワークであるReal3D-Potraitを提案する。
実験の結果、Real3D-Portraitは目に見えない人物を一般化し、よりリアルなトーキング・ポートレート・ビデオを生成することがわかった。
論文 参考訳（メタデータ） (2024-01-16T17:04:30Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-08-01T01:27:02Z) - AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。
我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。
動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
論文 参考訳（メタデータ） (2022-05-17T17:59:19Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。