論文の概要: MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction and Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2311.02778v1
• Date: Sun, 5 Nov 2023 21:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 15:49:39.316092
• Title: MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction and Novel View Synthesis
• Title（参考訳）: MuSHRoom:ジョイント3次元再構成と新しいビュー合成のためのマルチセンサハイブリッドルームデータセット
• Authors: Xuqian Ren, Wenjia Wang, Dingding Cai, Tuuli Tuominen, Juho Kannala, Esa Rahtu
• Abstract要約: 実世界のマルチセンサーハイブリッドルームデータセット(MuSHRoom)を提案する。 我々のデータセットは、エキサイティングな課題を示し、最先端の手法がコスト効率が高く、ノイズの多いデータやデバイスに対して堅牢であることを要求する。 共同3Dメッシュ再構成と新しいビュー合成のためのデータセット上で、いくつかの有名なパイプラインをベンチマークする。
• 参考スコア（独自算出の注目度）: 28.303356795936672
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Metaverse technologies demand accurate, real-time, and immersive modeling on consumer-grade hardware for both non-human perception (e.g., drone/robot/autonomous car navigation) and immersive technologies like AR/VR, requiring both structural accuracy and photorealism. However, there exists a knowledge gap in how to apply geometric reconstruction and photorealism modeling (novel view synthesis) in a unified framework. To address this gap and promote the development of robust and immersive modeling and rendering with consumer-grade devices, first, we propose a real-world Multi-Sensor Hybrid Room Dataset (MuSHRoom). Our dataset presents exciting challenges and requires state-of-the-art methods to be cost-effective, robust to noisy data and devices, and can jointly learn 3D reconstruction and novel view synthesis, instead of treating them as separate tasks, making them ideal for real-world applications. Second, we benchmark several famous pipelines on our dataset for joint 3D mesh reconstruction and novel view synthesis. Finally, in order to further improve the overall performance, we propose a new method that achieves a good trade-off between the two tasks. Our dataset and benchmark show great potential in promoting the improvements for fusing 3D reconstruction and high-quality rendering in a robust and computationally efficient end-to-end fashion.
• Abstract（参考訳）: メタバース技術は、非人間の知覚(例えば、ドローン/ロボット/自律走行車)とAR/VRのような没入型技術の両方のために、消費者階級のハードウェアの精度、リアルタイム、没入型モデリングを必要とする。 しかし、幾何再構成とフォトリアリズムモデリング(ノーベルビュー合成)を統一されたフレームワークに適用する方法には、知識ギャップが存在する。 このギャップに対処し,消費者グレードデバイスを用いたロバストで没入的なモデリングとレンダリングの開発を促進するために,まず,実世界のマルチセンサーハイブリッドルームデータセット(mushroom)を提案する。 われわれのデータセットは、エキサイティングな課題を示し、最先端の手法はコスト効率が高く、ノイズの多いデータやデバイスに頑健であり、3D再構成と新しいビュー合成を共同で学習することができる。 第2に,3dメッシュ再構成と新たなビュー合成のための,いくつかの有名なパイプラインをデータセットにベンチマークします。 最後に、全体的なパフォーマンスをさらに向上させるため、2つのタスク間の良好なトレードオフを実現する新しい方法を提案する。 我々のデータセットとベンチマークは、堅牢で計算効率のよいエンドツーエンド方式で、3D再構成と高品質なレンダリングを融合させる改善を促進する大きな可能性を示している。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• Coral Model Generation from Single Images for Virtual Reality Applications [22.18438294137604]
  本稿では,1つの画像から高精度な3次元サンゴモデルを生成するディープラーニングフレームワークを提案する。 このプロジェクトには、AI生成モデルをインタラクティブな"アートワーク"に変換するための説明可能なAI(XAI)が組み込まれている。
  論文  参考訳（メタデータ） (2024-09-04T01:54:20Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• VR-based generation of photorealistic synthetic data for training hand-object tracking models [0.0]
  ブレンダー・ホアシンス (blender-hoisynth) は、ブレンダーソフトウェアに基づくインタラクティブな合成データ生成装置である。 ユーザーは標準のバーチャルリアリティハードウェアを使用して、仮想手でオブジェクトと対話することができる。 私たちは、よく知られたDexYCBデータセットのトレーニングデータの大部分をホアシンスデータに置き換え、最先端のHOI再構築モデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-01-31T14:32:56Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
  モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
  そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。 我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。 オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
  論文  参考訳（メタデータ） (2023-04-29T15:41:15Z)
• GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
  GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。 車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。 生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-04T23:41:20Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)
• UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual 3D Environments [14.453602631430508]
  ロボット画像から合成データを生成するためのツールであるUnrealROXの改良版を紹介します。 UnrealROX+には、Deep Learningフレームワークから仮想環境と対話するalbedoやPython APIを生成する、といった新機能が含まれている。
  論文  参考訳（メタデータ） (2021-04-23T18:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。