論文の概要: Digital Life Project: Autonomous 3D Characters with Social Intelligence
- arxiv url: http://arxiv.org/abs/2312.04547v1
- Date: Thu, 7 Dec 2023 18:58:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-12-08 13:35:11.004953
- Title: Digital Life Project: Autonomous 3D Characters with Social Intelligence
- Title（参考訳）: digital life project: ソーシャル・インテリジェンスを用いた自律3dキャラクタ
- Abstract要約: Digital Life Projectは、言語をユニバーサルメディアとして活用し、自律的な3Dキャラクタを構築するためのフレームワークである。
私たちのフレームワークは、SocioMindとMoMat-MoGenの2つの主要コンポーネントで構成されています。
- 参考スコア（独自算出の注目度）: 86.2845109451914
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present Digital Life Project, a framework utilizing language
as the universal medium to build autonomous 3D characters, who are capable of
engaging in social interactions and expressing with articulated body motions,
thereby simulating life in a digital environment. Our framework comprises two
primary components: 1) SocioMind: a meticulously crafted digital brain that
models personalities with systematic few-shot exemplars, incorporates a
reflection process based on psychology principles, and emulates autonomy by
initiating dialogue topics; 2) MoMat-MoGen: a text-driven motion synthesis
paradigm for controlling the character's digital body. It integrates motion
matching, a proven industry technique to ensure motion quality, with
cutting-edge advancements in motion generation for diversity. Extensive
experiments demonstrate that each module achieves state-of-the-art performance
in its respective domain. Collectively, they enable virtual characters to
initiate and sustain dialogues autonomously, while evolving their
socio-psychological states. Concurrently, these characters can perform
contextually relevant bodily movements. Additionally, a motion captioning
module further allows the virtual character to recognize and appropriately
respond to human players' actions. Homepage: https://digital-life-project.com/
- Abstract（参考訳）: 本稿では,言語を普遍的な媒体として活用し,社会的相互作用に関わり,体の動きを表現し,デジタル環境における生活をシミュレートする,自律的な3Dキャラクタを構築するためのDigital Life Projectを提案する。
私たちのフレームワークは2つの主要コンポーネントで構成されています。
1)社会マインド:体系的な少数ショットの例で人格をモデル化し、心理学の原理に基づく省察過程を取り入れ、対話のトピックの開始による自律性を模倣する細心の注意深いデジタル脳。
2) MoMat-MoGen:文字のデジタルボディを制御するためのテキスト駆動モーション合成パラダイム。
モーションマッチングは、モーション品質を保証するための実証済みの業界技術であり、多様性のためのモーション生成の最先端の進歩と統合されている。
広範な実験により、各モジュールがそれぞれのドメインで最先端のパフォーマンスを達成できることが示されている。
バーチャルキャラクターは、社会心理学的な状態を進化させながら、対話を自律的に開始し、維持することができる。
同時に、これらのキャラクターは文脈的に関連する身体運動を行うことができる。
さらに、モーションキャプションモジュールにより、仮想キャラクタは人間のアクションを認識し、適切に応答することができる。
ホームページ: https://digital-life-project.com/
関連論文リスト
- A Platform for Interactive AI Character Experiences [6.082318384599531]
本稿では,デジタルキャラクタを便利に設計するシステムとプラットフォームを提案する。
私たちの仕事は、没入的なキャラクター体験の道を切り開いて、人生のような、ストーリーベースのインタラクションの夢を現実に変えます。
論文 参考訳（メタデータ） (2026-01-03T01:27:19Z) - Seamless Interaction: Dyadic Audiovisual Motion Modeling and Large-Scale Dataset [113.25650486482762]
4000時間以上の対面インタラクション映像の大規模な収集であるSeamless Interactionデータセットを紹介した。
このデータセットは、ダイドの具体的ダイナミクスを理解するAIテクノロジの開発を可能にする。
そこで我々は,このデータセットを用いて,人間の発話に適応した動作ジェスチャーと表情を生成するモデル群を開発した。
論文 参考訳（メタデータ） (2025-06-27T18:09:49Z) - SOLAMI: Social Vision-Language-Action Modeling for Immersive Interaction with 3D Autonomous Characters [38.90959051732146]
SOLAMIは,3次元自律型キャラクタとの没入型インタラクションのための,初のエンドツーエンドのソーシャルビジョン・ランゲージ・アクション(VLA)モデリングフレームワークである。
本稿では,ユーザのマルチモーダル入力をベースとしたマルチモーダル応答(音声と動き)を生成するソーシャルVLAフレームワークを提案する。
既存の動作データセットのみを用いて自動パイプラインによって生成された合成マルチモーダルなソーシャルインタラクションデータセットであるSynMSIを提案する。
論文 参考訳（メタデータ） (2024-11-29T18:53:40Z) - Maia: A Real-time Non-Verbal Chat for Human-AI Interaction [10.580858171606167]
我々はテキストベースのヒューマン-AIインタラクションの代替案を提案する。
非言語的な視覚コミュニケーションを活用することで、表情、頭と体の動きを通じて、エンゲージメントを高めることを目指している。
我々のアプローチは芸術に特化せず、様々な絵画、アニメーション、アバターに適応することができる。
論文 参考訳（メタデータ） (2024-02-09T13:07:22Z) - ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。
ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。
また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
論文 参考訳（メタデータ） (2023-11-28T18:59:52Z) - GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳（メタデータ） (2023-08-22T17:59:51Z) - IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳（メタデータ） (2022-12-14T23:59:24Z) - Generating Holistic 3D Human Motion from Speech [97.11392166257791]
同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。
次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
論文 参考訳（メタデータ） (2022-12-08T17:25:19Z) - Triangular Character Animation Sampling with Motion, Emotion, and
Relation [78.80083186208712]
本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。
本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
論文 参考訳（メタデータ） (2022-03-09T18:19:03Z) - DASH: Modularized Human Manipulation Simulation with Vision and Language
for Embodied AI [25.144827619452105]
本稿では,動的・自律的シミュレーション人間(DASH)について述べる。
DASHシステムを視覚モジュール、言語モジュール、および2つのスキルカテゴリの操作モジュールに分解することにより、DASHがランダムに配置されたタスクを高い成功率で実行できるように、異なるモジュールに対して解析的および機械学習テクニックを混在させ、マッチングすることができる。
論文 参考訳（メタデータ） (2021-08-28T00:22:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。