論文の概要: RaySt3R: Predicting Novel Depth Maps for Zero-Shot Object Completion

• arxiv url: http://arxiv.org/abs/2506.05285v1
• Date: Thu, 05 Jun 2025 17:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.859178
• Title: RaySt3R: Predicting Novel Depth Maps for Zero-Shot Object Completion
• Title（参考訳）: RaySt3R: ゼロショットオブジェクト補完のための新しい深度マップ予測
• Authors: Bardienus P. Duisterhof, Jan Oberst, Bowen Wen, Stan Birchfield, Deva Ramanan, Jeffrey Ichnowski,
• Abstract要約: RaySt3Rは、新しいビュー合成問題として、3D形状の完成をリキャストする。 フィードフォワード変換器をトレーニングし、深度マップ、オブジェクトマスク、およびクエリ線に対する画素ごとの信頼スコアを予測する。 RaySt3Rは、これらの予測を複数のクエリビューに融合して、完全な3D形状を再構築する。
• 参考スコア（独自算出の注目度）: 49.933001840775816
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D shape completion has broad applications in robotics, digital twin reconstruction, and extended reality (XR). Although recent advances in 3D object and scene completion have achieved impressive results, existing methods lack 3D consistency, are computationally expensive, and struggle to capture sharp object boundaries. Our work (RaySt3R) addresses these limitations by recasting 3D shape completion as a novel view synthesis problem. Specifically, given a single RGB-D image and a novel viewpoint (encoded as a collection of query rays), we train a feedforward transformer to predict depth maps, object masks, and per-pixel confidence scores for those query rays. RaySt3R fuses these predictions across multiple query views to reconstruct complete 3D shapes. We evaluate RaySt3R on synthetic and real-world datasets, and observe it achieves state-of-the-art performance, outperforming the baselines on all datasets by up to 44% in 3D chamfer distance. Project page: https://rayst3r.github.io
• Abstract（参考訳）: 3D形状の完成は、ロボット工学、デジタル双対再構成、拡張現実(XR)に広く応用されている。 近年の3Dオブジェクトとシーン補完の進歩は印象的な成果を上げているが、既存の手法では3D一貫性が欠如しており、計算コストが高く、鋭いオブジェクト境界を捉えるのに苦労している。 我々の研究(RaySt3R)は、新しいビュー合成問題として3次元形状補完を再キャストすることで、これらの制限に対処する。 具体的には、単一のRGB-D画像と新しい視点(クエリレイの集合として符号化されている)が与えられた場合、フィードフォワードトランスフォーマーをトレーニングし、深度マップ、オブジェクトマスク、およびそれらのクエリレイに対する画素ごとの信頼度スコアを予測する。 RaySt3Rは、これらの予測を複数のクエリビューに融合して、完全な3D形状を再構築する。 合成および実世界のデータセット上でRaySt3Rを評価し、最先端のパフォーマンスを実現し、すべてのデータセットのベースラインを最大44%の3Dシャムファー距離で上回っていることを観察した。 プロジェクトページ: https://rayst3r.github.io

関連論文リスト

• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• Zero-Shot Multi-Object Scene Completion [59.325611678171974]
  1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。 提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-03-21T17:59:59Z)
• MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices [78.20154723650333]
  高品質な3次元地下構造は3次元物体再構成評価に不可欠である。 本稿では,モバイルデバイスを用いた新しいマルチビューRGBDデータセットを提案する。 我々は,ハイエンド3Dスキャナーを使わずに,精密な3次元地下構造が得られる。
  論文  参考訳（メタデータ） (2023-03-03T14:02:50Z)
• OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation [107.71752592196138]
  OmniObject3Dを提案する。OmniObject3Dは,大規模で高品質な3Dオブジェクトを持つ大語彙の3Dオブジェクトデータセットである。 190のカテゴリーで6,000のスキャン対象からなり、一般的な2Dデータセットと共通クラスを共有する。 それぞれの3Dオブジェクトは、2Dと3Dの両方のセンサーでキャプチャされ、テクスチャメッシュ、ポイントクラウド、マルチビューレンダリング画像、複数の実写ビデオを提供する。
  論文  参考訳（メタデータ） (2023-01-18T18:14:18Z)
• HM3D-ABO: A Photo-realistic Dataset for Object-centric Multi-view 3D Reconstruction [37.29140654256627]
  本稿では、フォトリアリスティックなオブジェクト中心データセットHM3D-ABOを提案する。 リアルな屋内シーンとリアルなオブジェクトを構成することで構築される。 このデータセットは、カメラポーズ推定やノベルビュー合成といったタスクにも有用である。
  論文  参考訳（メタデータ） (2022-06-24T16:02:01Z)
• CoReNet: Coherent 3D scene reconstruction from a single RGB image [43.74240268086773]
  我々は1つのRBG画像のみを入力として与えられた1つの物体の形状を再構築する深層学習の進歩の上に構築する。 提案する3つの拡張は,(1)局所的な2次元情報を物理的に正しい方法で出力3Dボリュームに伝播するレイトレーシングスキップ接続,(2)翻訳同変モデルの構築を可能にするハイブリッド3Dボリューム表現,(3)全体オブジェクトの形状を捉えるために調整された再構成損失である。 すべての物体がカメラに対して一貫した1つの3次元座標フレームに居住し、3次元空間内では交差しないコヒーレントな再構成を実現する。
  論文  参考訳（メタデータ） (2020-04-27T17:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。