論文の概要: OccFusion: Rendering Occluded Humans with Generative Diffusion Priors

• arxiv url: http://arxiv.org/abs/2407.00316v1
• Date: Sat, 29 Jun 2024 04:46:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 05:31:09.910344
• Title: OccFusion: Rendering Occluded Humans with Generative Diffusion Priors
• Title（参考訳）: OccFusion: 遺伝子拡散プリミティブで蓄積した人間をレンダリングする
• Authors: Adam Sun, Tiange Xiang, Scott Delp, Li Fei-Fei, Ehsan Adeli,
• Abstract要約: OccFusionは、事前訓練された2次元拡散モデルによって教師される効率的な3次元ガウススプラッティングを利用して、効率的で高忠実な人体レンダリングを実現する手法である。 OccFusion on ZJU-MoCap and challenge OcMotion sequences and found that it achieved the state-of-the-art performance in the rendering of occluded human。
• 参考スコア（独自算出の注目度）: 17.96080602798826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing human rendering methods require every part of the human to be fully visible throughout the input video. However, this assumption does not hold in real-life settings where obstructions are common, resulting in only partial visibility of the human. Considering this, we present OccFusion, an approach that utilizes efficient 3D Gaussian splatting supervised by pretrained 2D diffusion models for efficient and high-fidelity human rendering. We propose a pipeline consisting of three stages. In the Initialization stage, complete human masks are generated from partial visibility masks. In the Optimization stage, 3D human Gaussians are optimized with additional supervision by Score-Distillation Sampling (SDS) to create a complete geometry of the human. Finally, in the Refinement stage, in-context inpainting is designed to further improve rendering quality on the less observed human body parts. We evaluate OccFusion on ZJU-MoCap and challenging OcMotion sequences and find that it achieves state-of-the-art performance in the rendering of occluded humans.
• Abstract（参考訳）: 既存の人間のレンダリング手法の多くは、入力ビデオを通して人間のすべての部分が完全に見えるようにする必要がある。 しかし、この仮定は、障害が一般的である現実の環境では成立せず、結果として人間の部分的な可視性しか得られない。 そこで我々は, 事前学習した2次元拡散モデルによって教師される効率的な3次元ガウススプラッティングを利用して, 効率的かつ高忠実な人体レンダリングを実現するOccFusionを提案する。 本稿では,3段階からなるパイプラインを提案する。 初期化段階では、完全な人間のマスクは部分的な可視マスクから生成される。 最適化段階において、人間の3次元ガウスは、人間の完全な幾何学を作成するために、スコア蒸留サンプリング(SDS)による追加の監督により最適化される。 最後に、リファインメント段階では、不観察の少ない人体部品のレンダリング品質をさらに向上するために、インコンテクスト塗装が設計されている。 OccFusion on ZJU-MoCap and challenge OcMotion sequences and found that it achieved the state-of-the-art performance in the rendering of occluded human。

関連論文リスト

• Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion [13.938406073551844]
  本稿では,DTF(Dual Transformer Fusion)アルゴリズムを提案する。 正確な3Dヒューマンポース推定を実現するために,本手法では,まず2つの中間ビューを生成する革新的なDTFアーキテクチャを利用する。 このアプローチは、両方のデータセットで既存の最先端メソッドよりも優れており、大幅に改善されています。
  論文  参考訳（メタデータ） (2024-10-06T18:15:27Z)
• Generalizable Human Gaussians from Single-View Image [52.100234836129786]
  単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
  論文  参考訳（メタデータ） (2024-06-10T06:38:11Z)
• HINT: Learning Complete Human Neural Representations from Limited Viewpoints [69.76947323932107]
  我々は、限られた視野角から詳細な人間のモデルを学習できるNeRFベースのアルゴリズムを提案する。 その結果,数個の視角からでも完全な人間の再構築が可能となり,性能は15%以上向上した。
  論文  参考訳（メタデータ） (2024-05-30T05:43:09Z)
• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
  人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。 まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。 そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:23Z)
• MVHuman: Tailoring 2D Diffusion with Multi-view Sampling For Realistic 3D Human Generation [45.88714821939144]
  テキスト誘導から人間の放射界を生成するためのMVHumanという代替スキームを提案する。 我々のコアは、一貫したマルチビュー画像を生成するための事前学習されたネットワークのデノイングプロセスを調整するためのマルチビューサンプリング戦略である。
  論文  参考訳（メタデータ） (2023-12-15T11:56:26Z)
• PrimDiffusion: Volumetric Primitives Diffusion for 3D Human Generation [47.15358646320958]
  PrimDiffusionは3Dヒューマンジェネレーションのための初めての拡散ベースのフレームワークである。 我々のフレームワークは、高品質な3D人間のリアルタイムレンダリングを、512Times512$の解像度でサポートします。
  論文  参考訳（メタデータ） (2023-12-07T18:59:33Z)
• GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
  GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。 ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
  論文  参考訳（メタデータ） (2023-12-05T18:59:14Z)
• HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
  既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。 本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。