論文の概要: MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction
and Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2311.02778v1
- Date: Sun, 5 Nov 2023 21:46:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 15:49:39.316092
- Title: MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction
and Novel View Synthesis
- Title(参考訳): MuSHRoom:ジョイント3次元再構成と新しいビュー合成のためのマルチセンサハイブリッドルームデータセット
- Authors: Xuqian Ren, Wenjia Wang, Dingding Cai, Tuuli Tuominen, Juho Kannala,
Esa Rahtu
- Abstract要約: 実世界のマルチセンサーハイブリッドルームデータセット(MuSHRoom)を提案する。
我々のデータセットは、エキサイティングな課題を示し、最先端の手法がコスト効率が高く、ノイズの多いデータやデバイスに対して堅牢であることを要求する。
共同3Dメッシュ再構成と新しいビュー合成のためのデータセット上で、いくつかの有名なパイプラインをベンチマークする。
- 参考スコア(独自算出の注目度): 28.303356795936672
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Metaverse technologies demand accurate, real-time, and immersive modeling on
consumer-grade hardware for both non-human perception (e.g.,
drone/robot/autonomous car navigation) and immersive technologies like AR/VR,
requiring both structural accuracy and photorealism. However, there exists a
knowledge gap in how to apply geometric reconstruction and photorealism
modeling (novel view synthesis) in a unified framework.
To address this gap and promote the development of robust and immersive
modeling and rendering with consumer-grade devices, first, we propose a
real-world Multi-Sensor Hybrid Room Dataset (MuSHRoom). Our dataset presents
exciting challenges and requires state-of-the-art methods to be cost-effective,
robust to noisy data and devices, and can jointly learn 3D reconstruction and
novel view synthesis, instead of treating them as separate tasks, making them
ideal for real-world applications. Second, we benchmark several famous
pipelines on our dataset for joint 3D mesh reconstruction and novel view
synthesis. Finally, in order to further improve the overall performance, we
propose a new method that achieves a good trade-off between the two tasks. Our
dataset and benchmark show great potential in promoting the improvements for
fusing 3D reconstruction and high-quality rendering in a robust and
computationally efficient end-to-end fashion.
- Abstract(参考訳): メタバース技術は、非人間の知覚(例えば、ドローン/ロボット/自律走行車)とAR/VRのような没入型技術の両方のために、消費者階級のハードウェアの精度、リアルタイム、没入型モデリングを必要とする。
しかし、幾何再構成とフォトリアリズムモデリング(ノーベルビュー合成)を統一されたフレームワークに適用する方法には、知識ギャップが存在する。
このギャップに対処し,消費者グレードデバイスを用いたロバストで没入的なモデリングとレンダリングの開発を促進するために,まず,実世界のマルチセンサーハイブリッドルームデータセット(mushroom)を提案する。
われわれのデータセットは、エキサイティングな課題を示し、最先端の手法はコスト効率が高く、ノイズの多いデータやデバイスに頑健であり、3D再構成と新しいビュー合成を共同で学習することができる。
第2に,3dメッシュ再構成と新たなビュー合成のための,いくつかの有名なパイプラインをデータセットにベンチマークします。
最後に、全体的なパフォーマンスをさらに向上させるため、2つのタスク間の良好なトレードオフを実現する新しい方法を提案する。
我々のデータセットとベンチマークは、堅牢で計算効率のよいエンドツーエンド方式で、3D再構成と高品質なレンダリングを融合させる改善を促進する大きな可能性を示している。
関連論文リスト
- Retrieval-Augmented Score Distillation for Text-to-3D Generation [32.105318004273]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はRetDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-05T12:50:30Z) - Unifying Correspondence, Pose and NeRF for Pose-Free Novel View
Synthesis from Stereo Pairs [60.91956508636362]
この研究は、3次元視覚における挑戦的で先駆的な課題であるステレオペアからのポーズレスノベルビュー合成の課題に踏み込んだ。
我々の革新的なフレームワークは、これまでとは違って、シームレスに2D対応マッチング、カメラポーズ推定、NeRFレンダリングを統合し、これらのタスクの相乗的強化を促進します。
論文 参考訳(メタデータ) (2023-12-12T13:22:44Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction
on Mobile Devices [55.95408465285477]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1~2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳(メタデータ) (2023-11-16T11:30:56Z) - Global-correlated 3D-decoupling Transformer for Clothed Avatar
Reconstruction [39.562900308052846]
本稿では,モノクロ画像から衣料アバターを再構成するトランスフォーマーをGTA(Global-correlated 3D-decoupling Transformer for Avatar reconstruction)として提案する。
提案手法は,グローバルな関連画像特徴をキャプチャするエンコーダとしてビジョントランスフォーマーモデルを活用することで,トランスフォーマアーキテクチャを活用する。
提案手法は形状とテクスチャ再構築の両面において最先端の手法より優れており,挑戦的なポーズやゆるい衣服に対して高い堅牢性を示す。
論文 参考訳(メタデータ) (2023-09-24T02:10:25Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳(メタデータ) (2023-08-21T10:38:32Z) - Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。
逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
論文 参考訳(メタデータ) (2023-05-25T14:56:03Z) - NSLF-OL: Online Learning of Neural Surface Light Fields alongside
Real-time Incremental 3D Reconstruction [0.76146285961466]
そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。
我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。
オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
論文 参考訳(メタデータ) (2023-04-29T15:41:15Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body
Decoupling 3D Model [58.70130563417079]
我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。
既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
論文 参考訳(メタデータ) (2021-10-28T16:24:55Z) - Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。
合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
論文 参考訳(メタデータ) (2021-01-29T22:52:47Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。