論文の概要: FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction

• arxiv url: http://arxiv.org/abs/2206.02194v2
• Date: Mon, 4 Sep 2023 14:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 12:02:49.816095
• Title: FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction
• Title（参考訳）: FOF:単眼リアルタイム再建のためのフーリエ活動場
• Authors: Qiao Feng, Yebin Liu, Yu-Kun Lai, Jingyu Yang, Kun Li
• Abstract要約: パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙のニューラル表現といった既存の表現は、高品質な結果とリアルタイムなスピードを同時に達成することが困難である。 本稿では,モノクラーリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3次元表現であるFourier Occupancy Field (FOF)を提案する。 FOFは、2D畳み込みニューラルネットワークと互換性があり、3D画像と2D画像のギャップを埋めることのできるマルチチャネル画像として保存することができる。
• 参考スコア（独自算出の注目度）: 73.85709132666626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of deep learning has led to significant progress in monocular human reconstruction. However, existing representations, such as parametric models, voxel grids, meshes and implicit neural representations, have difficulties achieving high-quality results and real-time speed at the same time. In this paper, we propose Fourier Occupancy Field (FOF), a novel powerful, efficient and flexible 3D representation, for monocular real-time and accurate human reconstruction. The FOF represents a 3D object with a 2D field orthogonal to the view direction where at each 2D position the occupancy field of the object along the view direction is compactly represented with the first few terms of Fourier series, which retains the topology and neighborhood relation in the 2D domain. A FOF can be stored as a multi-channel image, which is compatible with 2D convolutional neural networks and can bridge the gap between 3D geometries and 2D images. The FOF is very flexible and extensible, e.g., parametric models can be easily integrated into a FOF as a prior to generate more robust results. Based on FOF, we design the first 30+FPS high-fidelity real-time monocular human reconstruction framework. We demonstrate the potential of FOF on both public dataset and real captured data. The code will be released for research purposes.
• Abstract（参考訳）: 深層学習の出現は、単眼的ヒト再建の著しい進歩をもたらした。 しかしながら、パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙の神経表現といった既存の表現は、高品質な結果とリアルタイムの速度を同時に達成するのに困難である。 本稿では,モノクロリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3D表現であるFourier Occupancy Field (FOF)を提案する。 FOFは、ビュー方向と直交する2Dフィールドを有する3Dオブジェクトを表し、各2D位置において、ビュー方向に沿ったオブジェクトの占有体が、2D領域のトポロジと近傍関係を保持するフーリエ級数の最初の数項でコンパクトに表現される。 FOFは、2D畳み込みニューラルネットワークと互換性があり、3Dジオメトリと2Dイメージのギャップを埋めることのできるマルチチャネルイメージとして保存することができる。 FOFは非常に柔軟で拡張性があり、例えばパラメトリックモデルはより堅牢な結果を得るためにFOFに簡単に統合できる。 fofに基づいて、最初の30fpsの高忠実度リアルタイムヒト再建フレームワークをデザインする。 公開データセットと実際のキャプチャデータの両方でFOFの可能性を実証する。 コードは研究目的でリリースされる予定だ。

関連論文リスト

• Consistency Diffusion Models for Single-Image 3D Reconstruction with Priors [24.086775858948755]
  拡散モデルに基づく先駆的なトレーニングフレームワークを提案する。 初期3次元点雲から導かれる3次元構造素を有界項として変換する。 単一入力画像から2D先行情報を抽出し,これらを3Dポイントクラウドに投影し,拡散訓練のためのガイダンスを強化する。
  論文  参考訳（メタデータ） (2025-01-28T06:21:57Z)
• FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image [68.84221452621674]
  本稿では,1枚の画像から詳細な人物形状をリアルタイムに再現するFOF-Xを提案する。 FOF-Xはテクスチャや照明による性能劣化を避ける。 FOFとメッシュ表現間の変換アルゴリズムをラプラシアン制約とオートマトンベース不連続整合器で拡張する。
  論文  参考訳（メタデータ） (2024-12-08T14:46:29Z)
• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Hybrid Fourier Score Distillation for Efficient One Image to 3D Object Generation [42.83810819513537]
  単一の画像から3D生成は、制御可能な3D資産を作る上で重要な要素である。 2D-3Dハイブリッドフーリエスコア蒸留目標関数hy-FSDを提案する。 hy-FSDは既存の3D生成手法に統合でき、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-31T08:11:25Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
  DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。 我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
  論文  参考訳（メタデータ） (2022-11-24T18:59:01Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。