論文の概要: Digital Life Project: Autonomous 3D Characters with Social Intelligence

• arxiv url: http://arxiv.org/abs/2312.04547v1
• Date: Thu, 7 Dec 2023 18:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 13:35:11.004953
• Title: Digital Life Project: Autonomous 3D Characters with Social Intelligence
• Title（参考訳）: digital life project: ソーシャル・インテリジェンスを用いた自律3dキャラクタ
• Authors: Zhongang Cai, Jianping Jiang, Zhongfei Qing, Xinying Guo, Mingyuan Zhang, Zhengyu Lin, Haiyi Mei, Chen Wei, Ruisi Wang, Wanqi Yin, Xiangyu Fan, Han Du, Liang Pan, Peng Gao, Zhitao Yang, Yang Gao, Jiaqi Li, Tianxiang Ren, Yukun Wei, Xiaogang Wang, Chen Change Loy, Lei Yang, Ziwei Liu
• Abstract要約: Digital Life Projectは、言語をユニバーサルメディアとして活用し、自律的な3Dキャラクタを構築するためのフレームワークである。 私たちのフレームワークは、SocioMindとMoMat-MoGenの2つの主要コンポーネントで構成されています。
• 参考スコア（独自算出の注目度）: 86.2845109451914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present Digital Life Project, a framework utilizing language as the universal medium to build autonomous 3D characters, who are capable of engaging in social interactions and expressing with articulated body motions, thereby simulating life in a digital environment. Our framework comprises two primary components: 1) SocioMind: a meticulously crafted digital brain that models personalities with systematic few-shot exemplars, incorporates a reflection process based on psychology principles, and emulates autonomy by initiating dialogue topics; 2) MoMat-MoGen: a text-driven motion synthesis paradigm for controlling the character's digital body. It integrates motion matching, a proven industry technique to ensure motion quality, with cutting-edge advancements in motion generation for diversity. Extensive experiments demonstrate that each module achieves state-of-the-art performance in its respective domain. Collectively, they enable virtual characters to initiate and sustain dialogues autonomously, while evolving their socio-psychological states. Concurrently, these characters can perform contextually relevant bodily movements. Additionally, a motion captioning module further allows the virtual character to recognize and appropriately respond to human players' actions. Homepage: https://digital-life-project.com/
• Abstract（参考訳）: 本稿では,言語を普遍的な媒体として活用し,社会的相互作用に関わり,体の動きを表現し,デジタル環境における生活をシミュレートする,自律的な3Dキャラクタを構築するためのDigital Life Projectを提案する。 私たちのフレームワークは2つの主要コンポーネントで構成されています。 1)社会マインド:体系的な少数ショットの例で人格をモデル化し、心理学の原理に基づく省察過程を取り入れ、対話のトピックの開始による自律性を模倣する細心の注意深いデジタル脳。 2) MoMat-MoGen:文字のデジタルボディを制御するためのテキスト駆動モーション合成パラダイム。 モーションマッチングは、モーション品質を保証するための実証済みの業界技術であり、多様性のためのモーション生成の最先端の進歩と統合されている。 広範な実験により、各モジュールがそれぞれのドメインで最先端のパフォーマンスを達成できることが示されている。 バーチャルキャラクターは、社会心理学的な状態を進化させながら、対話を自律的に開始し、維持することができる。 同時に、これらのキャラクターは文脈的に関連する身体運動を行うことができる。 さらに、モーションキャプションモジュールにより、仮想キャラクタは人間のアクションを認識し、適切に応答することができる。 ホームページ: https://digital-life-project.com/

関連論文リスト

• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Triangular Character Animation Sampling with Motion, Emotion, and Relation [78.80083186208712]
  本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。 本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
  論文  参考訳（メタデータ） (2022-03-09T18:19:03Z)
• DASH: Modularized Human Manipulation Simulation with Vision and Language for Embodied AI [25.144827619452105]
  本稿では,動的・自律的シミュレーション人間(DASH)について述べる。 DASHシステムを視覚モジュール、言語モジュール、および2つのスキルカテゴリの操作モジュールに分解することにより、DASHがランダムに配置されたタスクを高い成功率で実行できるように、異なるモジュールに対して解析的および機械学習テクニックを混在させ、マッチングすることができる。
  論文  参考訳（メタデータ） (2021-08-28T00:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。