論文の概要: Zero-Shot Novel Depth Synthesis Using 3D Foundation Models Scene Representations

• arxiv url: http://arxiv.org/abs/2609.04174v1
• Date: Thu, 03 Sep 2026 17:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.196256
• Title: Zero-Shot Novel Depth Synthesis Using 3D Foundation Models Scene Representations
• Title（参考訳）: 3Dファウンデーションモデルを用いたゼロショット新規深度合成
• Abstract要約: 3Dファウンデーションモデル(3DFM)は、フィードフォワードトランスフォーマーによるリッチな統一表現を予測することによって、3Dビジョンの境界を推し進めている。 本稿では,その内部表現を用いてシーン内の3Dを新しい視点から推測する。
• 参考スコア（独自算出の注目度）: 15.647814813324267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Foundation Models (3DFMs) such as VGGT have recently pushed the boundaries of 3D vision by predicting rich unified representations with feed-foward transformers. The scene representations learned by these models enable strong performance on multiple 3D vision tasks. In this paper, we investigate using their internal representations to infer 3D in the scene from new views. Our hypothesis is that in order to solve the task of 3D reconstruction, these models need to learn a representation that includes a large amount of general knowledge about 3D scenes. After showing that it is possible to decode hidden surfaces from internal 3DFM representations, we propose a method, Z3D, that estimates pointmaps in unseen views by doing latent diffusion on 3DFM representation. We show that Z3D can predict realistic depth maps for new views across multiple datasets.
• Abstract（参考訳）: VGGTのような3Dファンデーションモデル(3DFM)は、フィードフォワードトランスフォーマーによるリッチな統一表現を予測することによって、最近3Dビジョンの境界を推し進めている。 これらのモデルによって学習されたシーン表現は、複数の3次元視覚タスクにおいて強力なパフォーマンスを実現する。 本稿では,その内部表現を用いてシーン内の3Dを新しい視点から推測する。 我々の仮説は、3次元再構成の課題を解決するためには、これらのモデルが3次元シーンに関する多くの一般的な知識を含む表現を学習する必要があるというものである。 内部の3DFM表現から隠れた曲面を復号化可能であることを示す上で、3DFM表現に潜時拡散を行うことで、見えないビューのポイントマップを推定する手法Z3Dを提案する。 Z3Dは複数のデータセットにまたがる新しいビューに対して,現実的な深度マップを予測可能であることを示す。

関連論文リスト

• Emergent Extreme-View Geometry in 3D Foundation Models [26.53730031068199]
  3Dファウンデーションモデル(3DFM)は、最近3Dビジョンを変換し、画像から直接深度、ポーズ、ポイントマップの合同予測を可能にした。 内部表現について検討し、3DFMは、そのような条件下では訓練されないにもかかわらず、極視的幾何学の創発的な理解を示すことを発見した。 バックボーンバイアス項の小さな部分のみを調整し,デコーダの頭部を凍結させて内部の3次元表現を改良する軽量アライメント方式を提案する。 既存の3DFMでは見えない新しいインターネットシーンのベンチマークであるMegaUnSceneにコントリビュートする。
  論文  参考訳（メタデータ） (2025-11-27T18:40:03Z)
• Ross3D: Reconstructive Visual Instruction Tuning with 3D-Awareness [73.72335146374543]
  本稿では,3次元視覚指導を訓練手順に組み込んだ3次元視覚指導法(Ross3D)について紹介する。 Ross3Dは様々な3Dシーン理解ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-04-02T16:59:55Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
  大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。 Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。 強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-10T16:49:21Z)
• MonoNeRD: NeRF-like Representations for Monocular 3D Object Detection [31.58403386994297]
  我々は,高密度な3次元形状と占有度を推定できる新しい検出フレームワークMonoNeRDを提案する。 具体的には、SDF(Signed Distance Function)を用いてシーンをモデル化し、密集した3D表現の作成を容易にする。 我々の知る限り、この研究は初めてM3Dのボリュームレンダリングを導入し、画像に基づく3D知覚のための暗黙的な再構築の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T09:39:52Z)
• CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes [68.61199623705096]
  我々は,モデルが意味論的かつ伝達可能な3Dシーンポイントクラウド表現を学習するのに役立つ,新しい3D事前学習型ビジョンランゲージを設計する。 符号化された3Dシーン特徴と対応する2D画像とテキスト埋め込みとを一致させることにより、人気のあるCLIPモデルの表現力を3Dエンコーダに注入する。 我々は,3次元視覚質問応答の下流課題に対して,我々のモデルによる3次元世界推論能力を評価する。
  論文  参考訳（メタデータ） (2023-04-12T16:52:29Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• CoCoNets: Continuous Contrastive 3D Scene Representations [21.906643302668716]
  本稿では,RGBとRGB-Dの画像とビデオから非モーダルな3D特徴表現を自己監督的に学習する。 得られた3次元視覚特徴表現は,オブジェクトやシーンにまたがって効果的にスケールし,入力視点から逸脱した情報を想像し,時間とともにオブジェクトを追跡し,意味的に関連したオブジェクトを3dで調整し,3dオブジェクト検出を改善する。
  論文  参考訳（メタデータ） (2021-04-08T15:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。