論文の概要: FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image

• arxiv url: http://arxiv.org/abs/2412.05961v1
• Date: Sun, 08 Dec 2024 14:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:01.793417
• Title: FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image
• Title（参考訳）: FOF-X:1枚の画像から人間をリアルタイムに再現する
• Authors: Qiao Feng, Yebin Liu, Yu-Kun Lai, Jingyu Yang, Kun Li,
• Abstract要約: 本稿では,1枚の画像から詳細な人物形状をリアルタイムに再現するFOF-Xを提案する。 FOF-Xはテクスチャや照明による性能劣化を避ける。 FOFとメッシュ表現間の変換アルゴリズムをラプラシアン制約とオートマトンベース不連続整合器で拡張する。
• 参考スコア（独自算出の注目度）: 68.84221452621674
• License:
• Abstract: We introduce FOF-X for real-time reconstruction of detailed human geometry from a single image. Balancing real-time speed against high-quality results is a persistent challenge, mainly due to the high computational demands of existing 3D representations. To address this, we propose Fourier Occupancy Field (FOF), an efficient 3D representation by learning the Fourier series. The core of FOF is to factorize a 3D occupancy field into a 2D vector field, retaining topology and spatial relationships within the 3D domain while facilitating compatibility with 2D convolutional neural networks. Such a representation bridges the gap between 3D and 2D domains, enabling the integration of human parametric models as priors and enhancing the reconstruction robustness. Based on FOF, we design a new reconstruction framework, FOF-X, to avoid the performance degradation caused by texture and lighting. This enables our real-time reconstruction system to better handle the domain gap between training images and real images. Additionally, in FOF-X, we enhance the inter-conversion algorithms between FOF and mesh representations with a Laplacian constraint and an automaton-based discontinuity matcher, improving both quality and robustness. We validate the strengths of our approach on different datasets and real-captured data, where FOF-X achieves new state-of-the-art results. The code will be released for research purposes.
• Abstract（参考訳）: 本稿では,1枚の画像から詳細な人物形状をリアルタイムに再現するFOF-Xを提案する。 高品質な結果に対するリアルタイム速度のバランスをとることは、主に既存の3D表現の高い計算要求のために、永続的な課題である。 そこで本研究では,フーリエ級数学習による効率的な3次元表現であるフーリエ占有場(FOF)を提案する。 FOFの中核は、3D占有領域を2Dベクトル場に分解し、トポロジーと空間的関係を3D領域内に保持し、2D畳み込みニューラルネットワークとの互換性を促進することである。 このような表現は、3Dドメインと2Dドメインのギャップを埋め、人間のパラメトリックモデルを事前として統合し、再構築の堅牢性を高める。 FOFに基づく新しい再構成フレームワークFOF-Xを設計し,テクスチャや照明による性能劣化を回避する。 これにより、リアルタイム再構築システムは、トレーニング画像と実際の画像との領域ギャップをよりよく処理できる。 さらに、FOF-Xでは、ラプラシアン制約とオートマトンベース不連続整合器によるFOFとメッシュ表現の相互変換アルゴリズムを強化し、品質とロバスト性の両方を改善した。 我々は、FOF-Xが新しい最先端の結果を得られるような、異なるデータセットとリアルタイムデータに対するアプローチの強みを検証する。 コードは研究目的でリリースされます。

関連論文リスト

• Consistency Diffusion Models for Single-Image 3D Reconstruction with Priors [24.086775858948755]
  拡散モデルに基づく先駆的なトレーニングフレームワークを提案する。 初期3次元点雲から導かれる3次元構造素を有界項として変換する。 単一入力画像から2D先行情報を抽出し,これらを3Dポイントクラウドに投影し,拡散訓練のためのガイダンスを強化する。
  論文  参考訳（メタデータ） (2025-01-28T06:21:57Z)
• Improving Geometry in Sparse-View 3DGS via Reprojection-based DoF Separation [35.17953057142724]
  最近の学習型マルチビューステレオモデルでは、スパースビュー3次元再構成における最先端性能が実証されている。 本研究では,不確実性の観点から位置対応型DoFを識別する手法として,再プロジェクションに基づくDoF分離を提案する。 ガウシアンの位置のDoFを分離し、対象とする制約を適用することで、幾何学的アーティファクトを効果的に抑制できることが示される。
  論文  参考訳（メタデータ） (2024-12-19T06:39:28Z)
• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [59.13757801286343]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images [12.076881343401329]
  多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。 定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-03-27T16:35:28Z)
• Factor Fields: A Unified Framework for Neural Fields and Beyond [50.29013417187368]
  本稿では、信号のモデリングと表現のための新しいフレームワークであるFacter Fieldsを紹介する。 我々のフレームワークは、NeRF、Plenoxels、EG3D、Instant-NGP、TensoRFなどの最近の信号表現に対応している。 この表現は,2次元画像回帰作業における画像の近似精度の向上,3次元符号付き距離場再構築時の幾何学的品質の向上,および放射場再構成作業におけるコンパクト性の向上を実現している。
  論文  参考訳（メタデータ） (2023-02-02T17:06:50Z)
• Fast-SNARF: A Fast Deformer for Articulated Neural Fields [92.68788512596254]
  本稿では,標準空間とポーズ空間の正確な対応性を求める,ニューラルフィールドのための新しい調音モジュールFast-SNARFを提案する。 Fast-SNARFはこれまでの研究であるSNARFの代替であり、計算効率は大幅に向上した。 変形マップの学習は多くの3次元人間のアバター法において重要な要素であるため、この研究は3次元仮想人間の実現に向けた重要なステップであると考えている。
  論文  参考訳（メタデータ） (2022-11-28T17:55:34Z)
• FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction [73.85709132666626]
  パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙のニューラル表現といった既存の表現は、高品質な結果とリアルタイムなスピードを同時に達成することが困難である。 本稿では,モノクラーリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3次元表現であるFourier Occupancy Field (FOF)を提案する。 FOFは、2D畳み込みニューラルネットワークと互換性があり、3D画像と2D画像のギャップを埋めることのできるマルチチャネル画像として保存することができる。
  論文  参考訳（メタデータ） (2022-06-05T14:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。