論文の概要: Zero-Shot Text-to-Parameter Translation for Game Character Auto-Creation

• arxiv url: http://arxiv.org/abs/2303.01311v1
• Date: Thu, 2 Mar 2023 14:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 14:04:24.293404
• Title: Zero-Shot Text-to-Parameter Translation for Game Character Auto-Creation
• Title（参考訳）: ゲームキャラクタ自動生成のためのゼロショットテキスト・パラメータ変換
• Authors: Rui Zhao, Wei Li, Zhipeng Hu, Lincheng Li, Zhengxia Zou, Zhenwei Shi, Changjie Fan
• Abstract要約: 本稿では,ゼロショットテキスト駆動型ゲームキャラクタ自動生成を実現する新しいテキスト・ツー・パラメータ変換法(T2P)を提案する。 本手法では,参照写真や数百のパラメータを手作業で編集することなく,任意のテキスト記述による鮮やかなゲーム内キャラクタを作成できる。
• 参考スコア（独自算出の注目度）: 48.62643177644139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent popular Role-Playing Games (RPGs) saw the great success of character auto-creation systems. The bone-driven face model controlled by continuous parameters (like the position of bones) and discrete parameters (like the hairstyles) makes it possible for users to personalize and customize in-game characters. Previous in-game character auto-creation systems are mostly image-driven, where facial parameters are optimized so that the rendered character looks similar to the reference face photo. This paper proposes a novel text-to-parameter translation method (T2P) to achieve zero-shot text-driven game character auto-creation. With our method, users can create a vivid in-game character with arbitrary text description without using any reference photo or editing hundreds of parameters manually. In our method, taking the power of large-scale pre-trained multi-modal CLIP and neural rendering, T2P searches both continuous facial parameters and discrete facial parameters in a unified framework. Due to the discontinuous parameter representation, previous methods have difficulty in effectively learning discrete facial parameters. T2P, to our best knowledge, is the first method that can handle the optimization of both discrete and continuous parameters. Experimental results show that T2P can generate high-quality and vivid game characters with given text prompts. T2P outperforms other SOTA text-to-3D generation methods on both objective evaluations and subjective evaluations.
• Abstract（参考訳）: 近年のロールプレイングゲーム(RPG)はキャラクター自動生成システムに大きな成功を収めた。 連続パラメータ(骨の位置など)と離散パラメータ(髪型など)によって制御される骨駆動顔モデルにより、ユーザーはゲーム内のキャラクターをパーソナライズしカスタマイズすることができる。 従来のゲーム内キャラクタの自動生成システムは、主に画像駆動であり、顔のパラメータが最適化され、レンダリングされたキャラクタが参照の顔写真に類似している。 本稿では,ゼロショットテキスト駆動型ゲームキャラクタ自動生成を実現する新しいテキスト・パラメータ変換法(T2P)を提案する。 本手法では,参照写真や数百のパラメータを手作業で編集することなく,任意のテキスト記述による鮮やかなゲーム内キャラクタを作成できる。 本手法では,大規模な事前学習型マルチモーダルCLIPとニューラルレンダリングのパワーを生かして,連続的な顔パラメータと離散的な顔パラメータの両方を統一されたフレームワークで検索する。 不連続なパラメータ表現のため、従来の手法では離散的な顔パラメータを効果的に学習するのは難しい。 我々の知る限りでは、T2Pは離散パラメータと連続パラメータの両方を最適化できる最初の方法である。 実験結果から,T2Pはテキストプロンプトによって高品質で鮮明なゲームキャラクタを生成できることがわかった。 T2Pは、客観的評価と主観的評価の両方において、他のSOTAテキスト・3D生成方法よりも優れている。

関連論文リスト

• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• ChatAnything: Facetime Chat with LLM-Enhanced Personas [87.76804680223003]
  多様な音声・外観生成のための音声(MoV)とディフューザ(MoD)の混合を提案する。 MoVでは,テキスト音声合成(TTS)アルゴリズムを様々な事前定義された音色で活用する。 近年普及しているテキスト・画像生成技術とトーキングヘッドアルゴリズムを組み合わせることで,音声オブジェクトの生成プロセスの合理化を図る。
  論文  参考訳（メタデータ） (2023-11-12T08:29:41Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• Parametric Implicit Face Representation for Audio-Driven Facial Reenactment [52.33618333954383]
  本稿では,制御可能かつ高品質な発話ヘッドを生成可能な,新しい音声駆動型顔再現フレームワークを提案する。 具体的には、パラメトリックな暗示表現は、3次元顔モデルの解釈可能なパラメータで暗示表現をパラメータ化する。 提案手法は,話者の身元や話し方に忠実な従来手法よりも現実的な結果が得られる。
  論文  参考訳（メタデータ） (2023-06-13T07:08:22Z)
• StyleT2F: Generating Human Faces from Textual Description Using StyleGAN2 [0.0]
  StyleT2Fは、テキストを使用してStyleGAN2の出力を制御する方法である。 提案手法は,必要な特徴を正しくキャプチャし,入力テキストと出力画像との整合性を示す。
  論文  参考訳（メタデータ） (2022-04-17T04:51:30Z)
• MeInGame: Create a Game Character Face from a Single Portrait [15.432712351907012]
  顔の形状とテクスチャを1枚の肖像画から予測する文字顔の自動生成手法を提案する。 実験の結果,本手法はゲームにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-02-04T02:12:19Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• Neutral Face Game Character Auto-Creation via PokerFace-GAN [0.0]
  本稿では,ゲーム内キャラクタを1枚の写真で自動生成する問題について検討する。 まず、マルチビューレンダリングの場合、従来の方法よりも柔軟に識別可能な文字を作成します。 次に、敵の訓練を利用して、表現パラメータを識別パラメータから効果的に切り離す。
  論文  参考訳（メタデータ） (2020-08-17T08:43:48Z)
• Fast and Robust Face-to-Parameter Translation for Game Character Auto-Creation [0.0]
  本稿では,プレイヤーの入力顔写真に基づいてゲーム内キャラクタを生成するゲームキャラクタ自動生成フレームワークを提案する。 提案手法は従来手法よりもロバスト性が高い。
  論文  参考訳（メタデータ） (2020-08-17T07:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。