論文の概要: EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices

• arxiv url: http://arxiv.org/abs/2311.09806v3
• Date: Sat, 20 Jul 2024 02:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:16:55.035241
• Title: EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices
• Title（参考訳）: EvaSurf: モバイルデバイス上での効率的なビュー・アウェア・インシデント・テクスチャ・サーフェス・コンストラクション
• Authors: Jingnan Gao, Zhuo Chen, Yichao Yan, Bowen Pan, Zhe Wang, Jiangjing Lyu, Xiaokang Yang,
• Abstract要約: モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
• 参考スコア（独自算出の注目度）: 53.28220984270622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing real-world 3D objects has numerous applications in computer vision, such as virtual reality, video games, and animations. Ideally, 3D reconstruction methods should generate high-fidelity results with 3D consistency in real-time. Traditional methods match pixels between images using photo-consistency constraints or learned features, while differentiable rendering methods like Neural Radiance Fields (NeRF) use differentiable volume rendering or surface-based representation to generate high-fidelity scenes. However, these methods require excessive runtime for rendering, making them impractical for daily applications. To address these challenges, we present $\textbf{EvaSurf}$, an $\textbf{E}$fficient $\textbf{V}$iew-$\textbf{A}$ware implicit textured $\textbf{Surf}$ace reconstruction method on mobile devices. In our method, we first employ an efficient surface-based model with a multi-view supervision module to ensure accurate mesh reconstruction. To enable high-fidelity rendering, we learn an implicit texture embedded with a set of Gaussian lobes to capture view-dependent information. Furthermore, with the explicit geometry and the implicit texture, we can employ a lightweight neural shader to reduce the expense of computation and further support real-time rendering on common mobile devices. Extensive experiments demonstrate that our method can reconstruct high-quality appearance and accurate mesh on both synthetic and real-world datasets. Moreover, our method can be trained in just 1-2 hours using a single GPU and run on mobile devices at over 40 FPS (Frames Per Second), with a final package required for rendering taking up only 40-50 MB.
• Abstract（参考訳）: 現実世界の3Dオブジェクトの再構成は、仮想現実、ビデオゲーム、アニメーションなどのコンピュータビジョンに多くの応用がある。 理想的には、3次元再構成法はリアルタイムに3次元整合性のある高忠実度な結果を生成するべきである。 従来の方法では、写真一貫性の制約や学習した特徴を使って画像間のピクセルをマッチングするが、Neural Radiance Fields (NeRF)のような微分可能なレンダリング手法では、高忠実なシーンを生成するために、可変ボリュームレンダリングや表面ベースの表現を使用する。 しかし、これらの方法はレンダリングに過剰なランタイムを必要とするため、日々のアプリケーションでは実用的ではない。 これらの課題に対処するため、モバイルデバイス上で$\textbf{EvaSurf}$, a $\textbf{E}$fficient $\textbf{V}$iew-$\textbf{A}$ware implicit textured $\textbf{Surf}$ace reconstruction methodを提示する。 提案手法では,まず,マルチビュー監視モジュールを用いた効率的な表面モデルを用いて,正確なメッシュ再構築を実現する。 高忠実度レンダリングを可能にするために,ガウスローブの集合に埋め込まれた暗黙のテクスチャを学習し,ビュー依存情報をキャプチャする。 さらに、明示的な幾何学と暗黙的なテクスチャにより、計算コストを削減し、一般的なモバイルデバイスでのリアルタイムレンダリングをさらにサポートするために、軽量なニューラルシェーダを使用することができる。 大規模な実験により,本手法は,合成データセットと実世界のデータセットの両方において,高品質な外観と正確なメッシュを再構築可能であることが示された。 さらに、1つのGPUで1～2時間でトレーニングし、40FPS(Frames Per Second)以上のモバイルデバイス上で動作させることも可能で、最終的なパッケージは40～50MBのレンダリングに必要である。

関連論文リスト

• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration [32.90257853118381]
  本研究では,大規模シーンにおけるリアルタイム手法間の最先端の精度を実現するビュー合成手法であるSMERFを紹介する。 弊社のアプローチは、Webブラウザ内で6自由度(6DOF)を実現し、コモディティスマートフォンやラップトップ上でリアルタイムにレンダリングする。
  論文  参考訳（メタデータ） (2023-12-12T18:59:40Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Flexible Techniques for Differentiable Rendering with 3D Gaussians [29.602516169951556]
  ニューラル・ラディアンス・フィールズ(Neural Radiance Fields)は、フォトリアリスティック・ノベルビューが到達範囲内にあることを示した。 特に3次元水密メッシュと1線当たりのレンダリングによる代替形状表現の拡張を開発した。 これらの再構築は高速で堅牢で、GPUやCPU上で容易に実行できる。
  論文  参考訳（メタデータ） (2023-08-28T17:38:31Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。