論文の概要: VAIR: Visuo-Acoustic Implicit Representations for Low-Cost, Multi-Modal Transparent Surface Reconstruction in Indoor Scenes

• arxiv url: http://arxiv.org/abs/2411.04963v1
• Date: Thu, 07 Nov 2024 18:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:26.064651
• Title: VAIR: Visuo-Acoustic Implicit Representations for Low-Cost, Multi-Modal Transparent Surface Reconstruction in Indoor Scenes
• Title（参考訳）: VAIR : 室内環境における低コマ・マルチモーダル透明表面再構成のためのビジュオ・音響的暗示表現法
• Authors: Advaith V. Sethuraman, Onur Bagoren, Harikrishnan Seetharaman, Dalton Richardson, Joseph Taylor, Katherine A. Skinner,
• Abstract要約: 透明な表面からなる屋内シーンの暗黙的な表現を学習する新しいモデルを提案する。 画像空間におけるボリュームレンダリングや3次元幾何再構成を可能にするために,暗黙の表現をクエリできることを示す。 本手法は, 透明表面再構成における最先端技術よりも顕著に改善されている。
• 参考スコア（独自算出の注目度）: 1.5650014668866705
• License:
• Abstract: Mobile robots operating indoors must be prepared to navigate challenging scenes that contain transparent surfaces. This paper proposes a novel method for the fusion of acoustic and visual sensing modalities through implicit neural representations to enable dense reconstruction of transparent surfaces in indoor scenes. We propose a novel model that leverages generative latent optimization to learn an implicit representation of indoor scenes consisting of transparent surfaces. We demonstrate that we can query the implicit representation to enable volumetric rendering in image space or 3D geometry reconstruction (point clouds or mesh) with transparent surface prediction. We evaluate our method's effectiveness qualitatively and quantitatively on a new dataset collected using a custom, low-cost sensing platform featuring RGB-D cameras and ultrasonic sensors. Our method exhibits significant improvement over state-of-the-art for transparent surface reconstruction.
• Abstract（参考訳）: 屋内で動く移動ロボットは、透明な表面を含む挑戦的なシーンをナビゲートする必要がある。 本稿では,室内の透明な表面を高密度に再現するために,暗黙のニューラル表現による音響的・視覚的知覚モーダルの融合手法を提案する。 透明な表面からなる屋内シーンの暗黙的な表現を学習するために、生成潜在最適化を利用する新しいモデルを提案する。 画像空間におけるボリュームレンダリングや3次元幾何再構成(点雲やメッシュ)を透過的な表面予測で行えるように,暗黙の表現をクエリできることを示す。 我々は,RGB-Dカメラと超音波センサを内蔵した,低コストなセンサプラットフォームを用いて収集した新しいデータセットに対して,本手法の有効性を質的,定量的に評価した。 本手法は, 透明表面再構成における最先端技術よりも顕著に改善されている。

関連論文リスト

• REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
  本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。 既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。 色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
  論文  参考訳（メタデータ） (2024-03-25T07:07:50Z)
• NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
  本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。 提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
  論文  参考訳（メタデータ） (2023-12-07T19:30:55Z)
• Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
  本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。 我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
  論文  参考訳（メタデータ） (2023-09-19T05:44:00Z)
• Neural Microfacet Fields for Inverse Rendering [54.15870869037466]
  本研究では,シーンの画像から材料,幾何学,環境照明を復元する手法を提案する。 本手法では, 各試料を(潜在的に不透明な)表面として扱うことにより, ボリューム設定内にマイクロファセット反射率モデルを用いる。
  論文  参考訳（メタデータ） (2023-03-31T05:38:13Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes [5.9870673031762545]
  本研究では,大規模屋内シーンを対象とした多視点逆レンダリング手法を提案する。 提案手法は, 最先端の定量的, 定性的に性能を向上する。 物質編集、編集可能な新規ビュー合成、リライトなど、物理的に理にかなった混合現実のアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-11-18T12:53:10Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis [28.356700318603565]
  シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。 従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。 提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
  論文  参考訳（メタデータ） (2021-04-28T03:47:48Z)
• UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
  ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。 我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。 実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
  論文  参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。