論文の概要: High-Fidelity Human Avatars from Laptop Webcams using Edge Compute

• arxiv url: http://arxiv.org/abs/2502.02468v1
• Date: Tue, 04 Feb 2025 16:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:52.870404
• Title: High-Fidelity Human Avatars from Laptop Webcams using Edge Compute
• Title（参考訳）: エッジコンピュートを用いたラップトップウェブカメラからの高忠実アバター
• Authors: Akash Haridas Imran N. Junejo,
• Abstract要約: 我々は,モバイルチップのニューラルコンピューティング機能を用いて,高忠実なアニマタブルアバターを生成する自動システムを構築した。 本研究では,3次元形態素モデル,ランドマーク検出,フォトリアリスティックテクスチャGAN,差別化レンダリングに基づく新しい手法を開発し,Webカメラ画像の品質低下とエッジ計算の問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Applications of generating photo-realistic human avatars are many, however, high-fidelity avatar generation traditionally required expensive professional camera rigs and artistic labor, but recent research has enabled constructing them automatically from smartphones with RGB and IR sensors. However, these new methods still rely on the presence of high-resolution cameras on modern smartphones and often require offloading the processing to powerful servers with GPUs. Modern applications such as video conferencing call for the ability to generate these avatars from consumer-grade laptop webcams using limited compute available on-device. In this work, we develop a novel method based on 3D morphable models, landmark detection, photo-realistic texture GANs, and differentiable rendering to tackle the problem of low webcam image quality and edge computation. We build an automatic system to generate high-fidelity animatable avatars under these limitations, leveraging the neural compute capabilities of mobile chips.
• Abstract（参考訳）: フォトリアリスティックな人間のアバターの応用は多いが、高忠実なアバターは伝統的に高価なプロのカメラリグと芸術的労働を必要とするが、最近の研究ではRGBと赤外線センサーでスマートフォンから自動的に構築できるようになっている。 しかし、これらの新しい方法は、現代スマートフォンに高解像度カメラが存在することに依存しており、しばしばGPUで強力なサーバに処理をオフロードする必要がある。 ビデオ会議のような現代的なアプリケーションでは、オンデバイスで利用可能な限られたコンピュータを使用して、コンシューマグレードのラップトップのウェブカメラからこれらのアバターを生成することができる。 本研究では,3次元形態素モデル,ランドマーク検出,フォトリアリスティックテクスチャGAN,差別化レンダリングに基づく新しい手法を開発し,Webカメラ画像の品質低下とエッジ計算の問題に対処する。 モバイルチップのニューラルコンピューティング能力を活用し,これらの制約の下で高忠実なアニマタブルアバターを生成する自動システムを構築した。

関連論文リスト

• SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars [19.249226899376943]
  本稿では,高忠実度3Dガウスフルボディアバターを軽量な表現に変換するフレームワークであるSqueezeMeを紹介する。 私たちはMeta Quest 3 VRヘッドセットで3つのガウスアバターをリアルタイムで(72FPS)同時アニメーションとレンダリングを初めて実現しました。
  論文  参考訳（メタデータ） (2024-12-19T18:46:55Z)
• GASP: Gaussian Avatars with Synthetic Priors [30.404213841722108]
  GASP:Gaussian Avatars with Synthetic Priorsを提案する。 我々は合成データのピクセル完全性を利用してガウスアバターを事前に訓練する。 私たちの事前は、推論ではなく、リアルタイムアプリケーションを可能にするためにのみ必要です。
  論文  参考訳（メタデータ） (2024-12-10T18:36:21Z)
• LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
  ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。 LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
  論文  参考訳（メタデータ） (2024-09-26T17:00:02Z)
• TextToon: Real-Time Text Toonify Head Avatar from Single Video [34.07760625281835]
  乾燥可能なトーン化アバターを生成するためのTextToonを提案する。 短い単眼ビデオシーケンスとアバタースタイルに関する命令が与えられた場合,本モデルは高忠実度トーン化アバターを生成することができる。
  論文  参考訳（メタデータ） (2024-09-23T15:04:45Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
  本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T02:03:14Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。