論文の概要: Talking Head(?) Anime from a Single Image 4: Improved Model and Its Distillation

• arxiv url: http://arxiv.org/abs/2311.17409v2
• Date: Thu, 30 Nov 2023 02:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 11:20:10.732678
• Title: Talking Head(?) Anime from a Single Image 4: Improved Model and Its Distillation
• Title（参考訳）: 単体画像からの頭(?)アニメ:改良されたモデルとその蒸留
• Authors: Pramook Khungurn
• Abstract要約: Talking Head Anime 3 (THA3)は、この問題に対処しようとするオープンソースプロジェクトである。 1)アニメキャラクタの上半身の画像と(2)45次元ポーズベクトルとを入力として、指定されたポーズを取る同一キャラクタの新しいイメージを出力する。 システムは、通常のPC上でリアルタイムにアニメーションを生成するには遅すぎるため、画質が向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the problem of creating a character model that can be controlled in real time from a single image of an anime character. A solution to this problem would greatly reduce the cost of creating avatars, computer games, and other interactive applications. Talking Head Anime 3 (THA3) is an open source project that attempts to directly address the problem. It takes as input (1) an image of an anime character's upper body and (2) a 45-dimensional pose vector and outputs a new image of the same character taking the specified pose. The range of possible movements is expressive enough for personal avatars and certain types of game characters. However, the system is too slow to generate animations in real time on common PCs, and its image quality can be improved. In this paper, we improve THA3 in two ways. First, we propose new architectures for constituent networks that rotate the character's head and body based on U-Nets with attention that are widely used in modern generative models. The new architectures consistently yield better image quality than the THA3 baseline. Nevertheless, they also make the whole system much slower: it takes up to 150 milliseconds to generate a frame. Second, we propose a technique to distill the system into a small network (less than 2 MB) that can generate 512x512 animation frames in real time (under 30 FPS) using consumer gaming GPUs while keeping the image quality close to that of the full system. This improvement makes the whole system practical for real-time applications.
• Abstract（参考訳）: 本研究では,アニメキャラクタの単一画像からリアルタイムに制御可能なキャラクタモデルを作成する問題について検討する。 この問題の解決策は、アバター、コンピュータゲーム、その他のインタラクティブなアプリケーションを作成するコストを大幅に削減する。 Talking Head Anime 3 (THA3)は、この問題に直接対処しようとするオープンソースプロジェクトである。 1)アニメキャラクタの上半身の画像と(2)45次元ポーズベクトルとを入力として、指定されたポーズを取る同一キャラクタの新しいイメージを出力する。 可能な動きの範囲は、個人のアバターや特定の種類のゲームキャラクタに十分表現できる。 しかし、このシステムは、一般的なPC上でリアルタイムにアニメーションを生成するには遅すぎるため、画質を向上することができる。 本稿ではTHA3を2つの方法で改善する。 まず, 現代の生成モデルで広く用いられているu-netに基づいて, キャラクタの頭部と身体を回転させる構成ネットワークのための新しいアーキテクチャを提案する。 新しいアーキテクチャは、常にTHA3ベースラインよりも画質が良い。 それでも、フレームを生成するのに最大150ミリ秒かかるので、システム全体がずっと遅くなります。 第2に,コンシューマ向けGPUを用いて512×512のアニメーションフレームをリアルタイム(30FPS以下)に生成できる小型ネットワーク(2MB未満)にシステムを蒸留する手法を提案する。 この改良により、システム全体がリアルタイムアプリケーションに実用的になる。

関連論文リスト

• A Missing Data Imputation GAN for Character Sprite Generation [1.2707050104493218]
  本稿では,課題を欠落したデータ計算タスクとしてフレーミングすることで,文字生成に新たなアプローチを提案する。 提案する生成ネットワークモデルは、利用可能なすべての領域の文字の画像を受信し、欠落したポーズの画像を生成します。
  論文  参考訳（メタデータ） (2024-09-16T20:50:32Z)
• NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction [14.509202872426942]
  3D textbf Anime character Reconstruction (NOVA-3D) の非オーバーラップビュー 新しいフレームワークは、3D一貫性のある特徴を効果的に学習するためのビュー認識機能融合法を実装している。 実験では、特筆すべき細かな忠実さを持つアニメキャラクターの優れた再構成が示されている。
  論文  参考訳（メタデータ） (2024-05-21T05:31:03Z)
• Toon3D: Seeing Cartoons from a New Perspective [52.85312338932685]
  我々は漫画やアニメの手描き画像に焦点をあてる。 多くの漫画は3Dレンダリングエンジンのないアーティストによって作られており、シーンの新しいイメージは手描きである。 我々は、2次元図面の不整合を補正し、新たに歪んだ図面が互いに整合するように、可視な3次元構造を復元する。
  論文  参考訳（メタデータ） (2024-05-16T17:59:51Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
  本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。 我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。 提案手法は,従来のアバター適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T07:48:29Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Generating Animatable 3D Cartoon Faces from Single Portraits [51.15618892675337]
  1枚のポートレート画像からアニマタブルな3Dマンガの顔を生成するための新しい枠組みを提案する。 本研究では,3次元マンガの顔のテクスチャを再現する2段階再構築手法を提案する。 最後に,手作業によるテンプレート作成と変形伝達に基づく意味保存顔リギング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-04T04:12:50Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)
• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。