論文の概要: Incorporating dense metric depth into neural 3D representations for view synthesis and relighting

• arxiv url: http://arxiv.org/abs/2409.03061v1
• Date: Wed, 4 Sep 2024 20:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-06 22:55:47.847444
• Title: Incorporating dense metric depth into neural 3D representations for view synthesis and relighting
• Title（参考訳）: 視線合成と照準のためのニューラル3次元表現への高密度距離深度化
• Authors: Arkadeep Narayan Chaudhury, Igor Vasiljevic, Sergey Zakharov, Vitor Guizilini, Rares Ambrus, Srinivasa Narasimhan, Christopher G. Atkeson,
• Abstract要約: ロボット応用では、密度の深い距離の深さをステレオで直接測定することができ、照明を制御できる。 本研究は,ニューラルネットワークによる3次元表現のトレーニングに高密度な距離深度を組み込む手法を実証する。 また、パイプラインに必要なデータを取得し、リライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。
• 参考スコア（独自算出の注目度）: 25.028859317188395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthesizing accurate geometry and photo-realistic appearance of small scenes is an active area of research with compelling use cases in gaming, virtual reality, robotic-manipulation, autonomous driving, convenient product capture, and consumer-level photography. When applying scene geometry and appearance estimation techniques to robotics, we found that the narrow cone of possible viewpoints due to the limited range of robot motion and scene clutter caused current estimation techniques to produce poor quality estimates or even fail. On the other hand, in robotic applications, dense metric depth can often be measured directly using stereo and illumination can be controlled. Depth can provide a good initial estimate of the object geometry to improve reconstruction, while multi-illumination images can facilitate relighting. In this work we demonstrate a method to incorporate dense metric depth into the training of neural 3D representations and address an artifact observed while jointly refining geometry and appearance by disambiguating between texture and geometry edges. We also discuss a multi-flash stereo camera system developed to capture the necessary data for our pipeline and show results on relighting and view synthesis with a few training views.
• Abstract（参考訳）: 小さなシーンの正確な幾何学と写真リアリスティックな外観を合成することは、ゲーム、バーチャルリアリティー、ロボット操作、自律運転、便利な製品キャプチャ、消費者レベルの写真などにおいて魅力的なユースケースを持つ、活発な研究分野である。 ロボット工学にシーン幾何学と外観推定技術を適用すると、ロボットの動きやシーンクラッタの限られた範囲による視野の狭い円錐が、現在の推定技術に悪質な評価をもたらすこと、あるいは失敗することを発見した。 一方, ロボット応用においては, 立体法で直接測定し, 照明を制御できることが多い。 深度は、再現性を改善するためにオブジェクトの形状を推定し、マルチイルミネーション画像はリライトを容易にする。 本研究では, テクスチャと幾何学的エッジの曖昧さを両立させ, 形状と外観を両立させながら観察された人工物に, 濃厚な距離深度を組み込むことを実証する。 また、パイプラインに必要なデータを収集し、いくつかのトレーニングビューでリライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。

関連論文リスト

• ViewMorpher3D: A 3D-aware Diffusion Framework for Multi-Camera Novel View Synthesis in Autonomous Driving [20.935790354765604]
  画像拡散モデルに基づく多視点画像拡張フレームワークであるViewMorpher3Dを紹介する。 シングルビューのアプローチとは異なり、ViewMorpher3Dはカメラのポーズに条件付けされた一連のレンダリングビュー、幾何学的先行3D、時間的に隣接または空間的に重複する参照ビューを共同で処理する。 我々のフレームワークは、様々なカメラとフレキシブルな参照/ターゲットビュー構成に対応しており、多様なセンサー設定に適応できる。
  論文  参考訳（メタデータ） (2026-01-12T13:44:14Z)
• RePose-NeRF: Robust Radiance Fields for Mesh Reconstruction under Noisy Camera Poses [0.5328562411561214]
  マルチビュー画像から直接高品質で編集可能な3Dメッシュを再構築する堅牢なフレームワークを提案する。 我々のアプローチは、細かな幾何学的ディテールと外観をキャプチャする暗黙のシーン表現を学習しながら、カメラのポーズを共同で洗練する。
  論文  参考訳（メタデータ） (2025-11-11T18:25:58Z)
• Reflect3r: Single-View 3D Stereo Reconstruction Aided by Mirror Reflections [55.248092751290834]
  ミラーリフレクションは日常の環境で一般的であり、単一のキャプチャ内でステレオ情報を提供することができる。 我々はこの特性を利用して、リフレクションを補助的な視点として扱い、物理的に有効な仮想カメラを構成する変換を設計する。 これにより、単一の画像から多視点ステレオ設定が可能となり、撮像プロセスが簡単になる。
  論文  参考訳（メタデータ） (2025-09-24T23:00:22Z)
• Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots [55.43376513158555]
  カメラ深度モデル (CDMs) は日用深度カメラの単純なプラグインである。 我々は,ディープカメラのノイズパターンをモデル化することにより,シミュレーションから高品質なペアデータを生成するニューラルデータエンジンを開発した。 私たちの実験では、ノイズや現実世界の微調整を必要とせず、生のシミュレートされた深さで訓練されたポリシーが、現実のロボットにシームレスに一般化されることを初めて実証しました。
  論文  参考訳（メタデータ） (2025-09-02T17:29:38Z)
• LSD-3D: Large-Scale 3D Driving Scene Generation with Geometry Grounding [34.74478301165912]
  本稿では,大規模3次元運転シーンを正確な形状で直接生成する手法を提案する。 提案手法は, 学習した2次元画像の先行画像からのスコアの蒸留と, プロキシ幾何の生成と環境表現を組み合わせたものである。 このアプローチは高い制御性を実現し、高速誘導幾何と高忠実度テクスチャと構造を実現する。
  論文  参考訳（メタデータ） (2025-08-26T17:04:49Z)
• Neural shape reconstruction from multiple views with static pattern projection [0.6788409324489684]
  カメラとプロジェクタの両方が動いている間、複数の画像をキャプチャして対象物体の形状を復元する手法を提案する。 合成画像と実画像の両方を用いて3次元再構成を行った。
  論文  参考訳（メタデータ） (2025-06-02T07:29:18Z)
• SpatialCrafter: Unleashing the Imagination of Video Diffusion Models for Scene Reconstruction from Limited Observations [44.53106180688135]
  この作業は、スパースやシングルビューのインプットから3Dシーンを再構築する上での課題である。 SpatialCrafterは,ビデオ拡散モデルにおける豊富な知識を活用して,可算的な追加観測を生成するフレームワークである。 トレーニング可能なカメラエンコーダと、明示的な幾何学的制約に対するエピポーラアテンション機構により、精密なカメラ制御と3D整合性を実現する。
  論文  参考訳（メタデータ） (2025-05-17T13:05:13Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
  深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。 入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。 ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
  論文  参考訳（メタデータ） (2024-03-16T07:26:50Z)
• Calibrating Panoramic Depth Estimation for Practical Localization and Mapping [20.621442016969976]
  周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。 本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
  論文  参考訳（メタデータ） (2023-08-27T04:50:05Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• DeLiRa: Self-Supervised Depth, Light, and Radiance Fields [32.350984950639656]
  可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。 標準的なボリュームレンダリングアプローチは、視点の多様性が限られている場合、縮退したジオメトリーと競合する。 本研究では,多視点測光目標を体積レンダリングのための幾何正則化器として用いることを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:16:25Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。