論文の概要: SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans

• arxiv url: http://arxiv.org/abs/2006.14660v2
• Date: Wed, 28 Apr 2021 15:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 04:15:07.140642
• Title: SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
• Title（参考訳）: SPSG:RGB-Dスキャンによる自己監督型測光シーン生成
• Authors: Angela Dai, Yawar Siddiqui, Justus Thies, Julien Valentin, Matthias Nie{\ss}ner
• Abstract要約: SPSGは、RGB-Dスキャン観測から高品質で色のついたシーンの3Dモデルを生成するための新しいアプローチである。 我々の自己監督的アプローチは、不完全なRGB-Dスキャンと、そのスキャンのより完全なバージョンとを関連付けて、幾何学と色を共同で塗布することを学ぶ。
• 参考スコア（独自算出の注目度）: 34.397726189729994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SPSG, a novel approach to generate high-quality, colored 3D models of scenes from RGB-D scan observations by learning to infer unobserved scene geometry and color in a self-supervised fashion. Our self-supervised approach learns to jointly inpaint geometry and color by correlating an incomplete RGB-D scan with a more complete version of that scan. Notably, rather than relying on 3D reconstruction losses to inform our 3D geometry and color reconstruction, we propose adversarial and perceptual losses operating on 2D renderings in order to achieve high-resolution, high-quality colored reconstructions of scenes. This exploits the high-resolution, self-consistent signal from individual raw RGB-D frames, in contrast to fused 3D reconstructions of the frames which exhibit inconsistencies from view-dependent effects, such as color balancing or pose inconsistencies. Thus, by informing our 3D scene generation directly through 2D signal, we produce high-quality colored reconstructions of 3D scenes, outperforming state of the art on both synthetic and real data.
• Abstract（参考訳）: 本研究では,rgb-d スキャン観察から高画質でカラーなシーンの3dモデルを生成する新しい手法 spsg を提案する。 自己教師ありのアプローチは、不完全なrgb-dスキャンとより完全なバージョンのスキャンを関連付けることで、共役的に不彩な幾何学と色を学ぶ。 特に,3次元図形と色再現を3次元再構成に頼らず,高解像度で高画質な色再現を実現するために,2次元レンダリングで操作する対角的・知覚的損失を提案する。 これは個々のRGB-Dフレームからの高分解能で自己整合性のある信号を利用するが、色バランスやポーズの不整合のようなビュー依存効果の不整合を示すフレームの融合した3D再構成とは対照的である。 そこで,2D信号を介して直接3Dシーンを生成することで,合成データと実データの両方で,高品質な3Dシーンの色の再現を行う。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
  Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。 2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。 視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
  論文  参考訳（メタデータ） (2024-08-23T15:25:08Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D Images in Unsupervised Reconstruction [2.7848140839111903]
  UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。 私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。 UNeR3Dはシームレスな色遷移を保証し、視力を高める。
  論文  参考訳（メタデータ） (2023-12-10T15:18:55Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing [41.34640834483265]
  我々は,単眼のRGB画像のみを付加したフォトリアリスティックな3次元人体再構成のための,新しいエンドツーエンドトレーニング可能なディープニューラルネットワーク手法PHORHUMを提案する。 我々の画素アライメント法は,3次元形状を詳細に推定し,非整形表面色とシーン照明を併用した。
  論文  参考訳（メタデータ） (2022-04-19T14:06:16Z)
• 3D-GIF: 3D-Controllable Object Generation via Implicit Factorized Representations [31.095503715696722]
  本稿では、ビュー非依存かつ光異方性のある因子化表現と、ランダムにサンプリングされた光条件によるトレーニングスキームを提案する。 因子化表現,再照明画像,アルベドテクスチャメッシュを可視化することで,本手法の優位性を実証する。 これは、追加のラベルや仮定なしで、未提示の2Dイメージでアルベドテクスチャメッシュを抽出する最初の作業である。
  論文  参考訳（メタデータ） (2022-03-12T15:23:17Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。