論文の概要: Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures

• arxiv url: http://arxiv.org/abs/2412.13183v2
• Date: Mon, 14 Apr 2025 14:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 19:48:45.547196
• Title: Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures
• Title（参考訳）: 二重投影型テクスチャを用いたスパースビューRGB映像からのリアルタイム自由視点人間レンダリング
• Authors: Guoxing Sun, Rishabh Dabral, Heming Zhu, Pascal Fua, Christian Theobalt, Marc Habermann,
• Abstract要約: スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 本稿では,2重非投影テクスチャについて述べる。その中心部では外観合成から粗い幾何学的変形推定を行う。
• 参考スコア（独自算出の注目度）: 87.80984588545589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time free-view human rendering from sparse-view RGB inputs is a challenging task due to the sensor scarcity and the tight time budget. To ensure efficiency, recent methods leverage 2D CNNs operating in texture space to learn rendering primitives. However, they either jointly learn geometry and appearance, or completely ignore sparse image information for geometry estimation, significantly harming visual quality and robustness to unseen body poses. To address these issues, we present Double Unprojected Textures, which at the core disentangles coarse geometric deformation estimation from appearance synthesis, enabling robust and photorealistic 4K rendering in real-time. Specifically, we first introduce a novel image-conditioned template deformation network, which estimates the coarse deformation of the human template from a first unprojected texture. This updated geometry is then used to apply a second and more accurate texture unprojection. The resulting texture map has fewer artifacts and better alignment with input views, which benefits our learning of finer-level geometry and appearance represented by Gaussian splats. We validate the effectiveness and efficiency of the proposed method in quantitative and qualitative experiments, which significantly surpasses other state-of-the-art methods. Project page: https://vcai.mpi-inf.mpg.de/projects/DUT/
• Abstract（参考訳）: スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 近年の手法では、テクスチャ空間で動作する2次元CNNを利用してレンダリングプリミティブを学習している。 しかし、幾何学と外観を共同で学習するか、幾何学的推定のためのスパース画像情報を完全に無視し、見えない身体のポーズに対する視覚的品質とロバスト性を著しく損なう。 これらの問題に対処するため,コア部では外観合成から粗い幾何学的変形推定を行うダブル・アンプロジェクテッド・テクスチャ(Double Unprojected Textures)が提案され,ロバストかつフォトリアリスティックな4Kレンダリングをリアルタイムに実現している。 具体的には,第1の未投影テクスチャからヒトテンプレートの粗い変形を推定する,新しい画像条件付きテンプレート変形ネットワークを提案する。 この改良された幾何学は、第二のより正確なテクスチャ・アンプロジェクションを適用するために使われる。 得られたテクスチャマップは、アーティファクトが少なく、入力ビューとの整合性が良く、ガウススプレートで表されるより詳細な幾何学と外観の学習に役立ちます。 提案手法の有効性と有効性を定量的および定性的な実験で検証し,他の最先端手法を著しく上回っている。 プロジェクトページ:https://vcai.mpi-inf.mpg.de/projects/DUT/

関連論文リスト

• SMPL-GPTexture: Dual-View 3D Human Texture Estimation using Text-to-Image Generation Models [7.436391283592317]
  SMPL-GPTextureは、自然言語プロンプトを入力として取り、最先端のテキスト画像生成モデルを活用する、新しいパイプラインである。 パイプラインはユーザのプロンプトに合わせて高解像度なテクスチャを生成することができることを示す。
  論文  参考訳（メタデータ） (2025-04-17T23:28:38Z)
• Make-A-Texture: Fast Shape-Aware Texture Generation in 3 Seconds [11.238020531599405]
  テキストプロンプトから高分解能テクスチャマップを効率的に合成する新しいフレームワークであるMake-A-Textureを提案する。 この手法の重要な特徴は、NVIDIA H100 GPUでわずか3.07秒のエンドツーエンドランタイム内で完全なテクスチャ生成を実現するという、その顕著な効率である。 本研究は,インタラクティブなテクスチャ作成やテキストガイドによるテクスチャ編集を含む,現実世界の3Dコンテンツ作成のためのテクスチャ生成モデルの適用性と実用性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-12-10T18:58:29Z)
• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Shape-biased Texture Agnostic Representations for Improved Textureless and Metallic Object Detection and 6D Pose Estimation [9.227450931458907]
  テクスチャレスおよびメタリックオブジェクトは、CNNの視覚的手がかりやテクスチャバイアスが少ないため、依然として重要な課題である。 形状バイアスをCNNトレーニングに誘導する手法を提案する。 この手法は、シームレスなデータレンダリングと、一貫性のあるテクスチャ面のないトレーニングデータの結果を可能にする。
  論文  参考訳（メタデータ） (2024-02-07T14:18:19Z)
• Neural Texture Puppeteer: A Framework for Neural Geometry and Texture Rendering of Articulated Shapes, Enabling Re-Identification at Interactive Speed [2.8544822698499255]
  我々はニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルレンダリングパイプラインを提案する。 テクスチャオートエンコーダは、この情報を利用して、テクスチャ化された画像をグローバルな潜在コードにエンコードする。 本手法は,データに制限がある絶滅危惧種に適用できる。
  論文  参考訳（メタデータ） (2023-11-28T10:51:05Z)
• Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
  特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。 本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
  論文  参考訳（メタデータ） (2023-04-12T13:58:25Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation [55.94900327396771]
  合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。 実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。 画素完全合成データからポーズ推定を学習する。
  論文  参考訳（メタデータ） (2022-12-25T13:36:32Z)
• FastHuman: Reconstructing High-Quality Clothed Human in Minutes [18.643091757385626]
  高品質な人体形状を数分で最適化する手法を提案する。 本手法はメッシュベースのパッチワープ手法を用いて,マルチビュー光度整合性を確保する。 提案手法は,合成データセットと実世界のデータセットの両方において有望な結果を示した。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
  本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。 第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。 本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-03-17T14:50:52Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。