論文の概要: FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction

• arxiv url: http://arxiv.org/abs/2206.02194v2
• Date: Mon, 4 Sep 2023 14:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 12:02:49.816095
• Title: FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction
• Title（参考訳）: FOF:単眼リアルタイム再建のためのフーリエ活動場
• Authors: Qiao Feng, Yebin Liu, Yu-Kun Lai, Jingyu Yang, Kun Li
• Abstract要約: パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙のニューラル表現といった既存の表現は、高品質な結果とリアルタイムなスピードを同時に達成することが困難である。 本稿では,モノクラーリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3次元表現であるFourier Occupancy Field (FOF)を提案する。 FOFは、2D畳み込みニューラルネットワークと互換性があり、3D画像と2D画像のギャップを埋めることのできるマルチチャネル画像として保存することができる。
• 参考スコア（独自算出の注目度）: 73.85709132666626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of deep learning has led to significant progress in monocular human reconstruction. However, existing representations, such as parametric models, voxel grids, meshes and implicit neural representations, have difficulties achieving high-quality results and real-time speed at the same time. In this paper, we propose Fourier Occupancy Field (FOF), a novel powerful, efficient and flexible 3D representation, for monocular real-time and accurate human reconstruction. The FOF represents a 3D object with a 2D field orthogonal to the view direction where at each 2D position the occupancy field of the object along the view direction is compactly represented with the first few terms of Fourier series, which retains the topology and neighborhood relation in the 2D domain. A FOF can be stored as a multi-channel image, which is compatible with 2D convolutional neural networks and can bridge the gap between 3D geometries and 2D images. The FOF is very flexible and extensible, e.g., parametric models can be easily integrated into a FOF as a prior to generate more robust results. Based on FOF, we design the first 30+FPS high-fidelity real-time monocular human reconstruction framework. We demonstrate the potential of FOF on both public dataset and real captured data. The code will be released for research purposes.
• Abstract（参考訳）: 深層学習の出現は、単眼的ヒト再建の著しい進歩をもたらした。 しかしながら、パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙の神経表現といった既存の表現は、高品質な結果とリアルタイムの速度を同時に達成するのに困難である。 本稿では,モノクロリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3D表現であるFourier Occupancy Field (FOF)を提案する。 FOFは、ビュー方向と直交する2Dフィールドを有する3Dオブジェクトを表し、各2D位置において、ビュー方向に沿ったオブジェクトの占有体が、2D領域のトポロジと近傍関係を保持するフーリエ級数の最初の数項でコンパクトに表現される。 FOFは、2D畳み込みニューラルネットワークと互換性があり、3Dジオメトリと2Dイメージのギャップを埋めることのできるマルチチャネルイメージとして保存することができる。 FOFは非常に柔軟で拡張性があり、例えばパラメトリックモデルはより堅牢な結果を得るためにFOFに簡単に統合できる。 fofに基づいて、最初の30fpsの高忠実度リアルタイムヒト再建フレームワークをデザインする。 公開データセットと実際のキャプチャデータの両方でFOFの可能性を実証する。 コードは研究目的でリリースされる予定だ。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion [13.938406073551844]
  本稿では,DTF(Dual Transformer Fusion)アルゴリズムを提案する。 正確な3Dヒューマンポース推定を実現するために,本手法では,まず2つの中間ビューを生成する革新的なDTFアーキテクチャを利用する。 このアプローチは、両方のデータセットで既存の最先端メソッドよりも優れており、大幅に改善されています。
  論文  参考訳（メタデータ） (2024-10-06T18:15:27Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Hybrid Fourier Score Distillation for Efficient One Image to 3D Object Generation [42.83810819513537]
  単一の画像から3D生成は、制御可能な3D資産を作る上で重要な要素である。 2D-3Dハイブリッドフーリエスコア蒸留目標関数hy-FSDを提案する。 hy-FSDは既存の3D生成手法に統合でき、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-31T08:11:25Z)
• UDiFF: Generating Conditional Unsigned Distance Fields with Optimal Wavelet Diffusion [51.31220416754788]
  UDiFFは非符号距離場(UDF)の3次元拡散モデルであり,テキスト条件や非条件条件から開面を有するテクスチャ化された3次元形状を生成することができる。 我々のキーとなるアイデアは、UDF生成のためのコンパクトな表現空間を生成する最適なウェーブレット変換を用いて、空間周波数領域でUDFを生成することである。
  論文  参考訳（メタデータ） (2024-04-10T09:24:54Z)
• 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images [12.076881343401329]
  多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。 定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-03-27T16:35:28Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
  DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。 我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
  論文  参考訳（メタデータ） (2022-11-24T18:59:01Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。