論文の概要: RnG: A Unified Transformer for Complete 3D Modeling from Partial Observations

• arxiv url: http://arxiv.org/abs/2603.01194v1
• Date: Sun, 01 Mar 2026 17:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.560103
• Title: RnG: A Unified Transformer for Complete 3D Modeling from Partial Observations
• Title（参考訳）: RnG:部分観察による完全3次元モデリングのための統一変換器
• Authors: Mochu Xiang, Zhelun Shen, Xuesong Li, Jiahui Ren, Jing Zhang, Chen Zhao, Shanshan Liu, Haocheng Feng, Jingdong Wang, Yuchao Dai,
• Abstract要約: RnG(Reconstruction and Generation)は、再構成と生成を統合する新しいフィードフォワードトランスである。 可視的幾何学を再構築し、可視的でコヒーレントな不明瞭な幾何学と外観を生成する。 提案手法は, 一般化可能な3次元再構成と新しいビュー生成の両方において, 最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 70.83499963694238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human perceive the 3D world through 2D observations from limited viewpoints. While recent feed-forward generalizable 3D reconstruction models excel at recovering 3D structures from sparse images, their representations are often confined to observed regions, leaving unseen geometry un-modeled. This raises a key, fundamental challenge: Can we infer a complete 3D structure from partial 2D observations? We present RnG (Reconstruction and Generation), a novel feed-forward Transformer that unifies these two tasks by predicting an implicit, complete 3D representation. At the core of RnG, we propose a reconstruction-guided causal attention mechanism that separates reconstruction and generation at the attention level, and treats the KV-cache as an implicit 3D representation. Then, arbitrary poses can efficiently query this cache to render high-fidelity, novel-view RGBD outputs. As a result, RnG not only accurately reconstructs visible geometry but also generates plausible, coherent unseen geometry and appearance. Our method achieves state-of-the-art performance in both generalizable 3D reconstruction and novel view generation, while operating efficiently enough for real-time interactive applications. Project page: https://npucvr.github.io/RnG
• Abstract（参考訳）: 人間は限られた視点から2次元の観察を通して3D世界を知覚する。 最近のフィードフォワード一般化可能な3次元再構成モデルは、スパース画像から3次元構造を復元するのに優れているが、それらの表現はしばしば観察された領域に限られており、目に見えない幾何学は未モデル化のままである。 部分的な2D観察から完全な3D構造を推測できますか? RnG(Reconstruction and Generation)は、暗黙的かつ完全な3D表現を予測してこれら2つのタスクを統一する新しいフィードフォワード変換器である。 RnGの中核には, 再建・生成を注意レベルで分離する再構成誘導型因果注意機構が提案されており, KV-cacheを暗黙の3D表現として扱う。 任意のポーズは、このキャッシュを効率的にクエリして、高忠実で新規なRGBD出力を描画することができる。 その結果、RnGは目に見える幾何学を正確に再構築するだけでなく、可視でコヒーレントな幾何学や外観も生成する。 提案手法は,リアルタイムな対話型アプリケーションにおいて十分効率的に動作しながら,一般化可能な3次元再構成と新しいビュー生成の両面での最先端性能を実現する。 プロジェクトページ: https://npucvr.github.io/RnG

関連論文リスト

• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model [38.13429047918231]
  本稿では,3次元のボクセル表現が明示的な3次元幾何情報を含む,新しいハイブリッドなVoxel-Gaussian表現を提案する。 我々の3Dボクセル表現は、2D画像から推定できるRGB特徴と表面正規特徴を整列する融合モジュールによって得られる。
  論文  参考訳（メタデータ） (2025-04-02T08:58:34Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SparseFusion: Distilling View-conditioned Diffusion for 3D Reconstruction [26.165314261806603]
  ニューラルレンダリングと確率的画像生成の最近の進歩を統一したスパースビュー3次元再構成手法であるスパースフュージョンを提案する。 既存のアプローチは、通常、再プロジェクションされた機能を持つニューラルレンダリングの上に構築されるが、目に見えない領域を生成したり、大きな視点の変化の下で不確実性に対処できない。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
  MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。 これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。 本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-20T17:47:22Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。