論文の概要: MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

• arxiv url: http://arxiv.org/abs/2412.06767v1
• Date: Mon, 09 Dec 2024 18:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:11.030240
• Title: MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views
• Title（参考訳）: MAtCha Gaussian: Sparse Viewsによる高品質な幾何学とフォトリアリズムのためのチャートのアトラス
• Authors: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino,
• Abstract要約: 本稿では,鮮明な3次元表面メッシュ復元とスパースビューサンプルからの新規ビュー合成を同時に実現した新しい外観モデルを提案する。 MAtChaは、市販の単分子深度推定器から高周波シーンの細部を蒸留し、2Dガウス波で精錬する。 MAtChaの中核には、新しい神経変形モデルと、学習された単分子深度から抽出した微細な表面の詳細を保存する構造損失がある。
• 参考スコア（独自算出の注目度）: 17.619347523562965
• License:
• Abstract: We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/
• Abstract（参考訳）: 本稿では, 鮮明な3次元表面メッシュの復元と, スパースビューサンプルからの光リアルな新しいビュー合成を同時に実現した新しい外観モデルを提案する。 私たちのキーとなるアイデアは、2Dガウス波(MAtChaガウス波)で描画するチャートのアトラスとして、背景となるシーン幾何学的メッシュをモデル化することです。 MAtChaは、市販の単分子深度推定器から高周波シーンの細部を蒸留し、ガウスのサーベイルレンダリングにより精錬する。 ガウスのサーベルは、メッシュモデルのニューラルボリュームレンダリングとクリップ幾何学のフォトリアリズムを満たす、すなわち、1つのモデルにおける2つの明らかに矛盾する目標を満たす。 MAtChaのコアには、新しい神経変形モデルと、学習された単分子深度から抽出した微細な表面の詳細を保存し、その基本的なスケールの曖昧さに対処する構造損失がある。 大規模な実験による検証の結果,MAtChaによる表面再構成と光リアリズムの質は上位候補と同等だが,入力ビュー数や計算時間を大幅に削減した。 私たちはMAtChaが視覚、グラフィック、ロボティクスのあらゆる視覚的応用の基盤となるツールとして機能し、フォトリアリズムに加えて明示的な幾何学を必要とすると信じています。 私たちのプロジェクトページは以下の通りです。

関連論文リスト

• GStex: Per-Primitive Texturing of 2D Gaussian Splatting for Decoupled Appearance and Geometry Modeling [None]
  ガウススプラッティングは、ビュー合成とシーン再構成に優れた性能を示した。 各ガウス原始体は外観と幾何学の両方を符号化しているので、外見モデリングには多数のガウス原始体が必要である。 我々は,1つのガウス語でさえ外観の詳細を捉えられるように,パープリミティブな表現を採用することを提案する。
  論文  参考訳（メタデータ） (2024-09-19T17:58:44Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
  リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。 近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。 我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。 G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:52Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• EigenFairing: 3D Model Fairing using Image Coherence [0.884755712094096]
  表面はしばしば、メッシュの顔に関連する3Dポイントとテクスチャの三角形メッシュとしてモデル化される。 点が実表面の最大曲率や不連続性の臨界点に置かれない場合、メッシュの面はモデル化された表面の近くには置かれない。 本稿では,物体の観察画像の集合と整合するように頂点を再構成して3次元表面モデルを完成させる手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T18:13:19Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。