論文の概要: PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation
- arxiv url: http://arxiv.org/abs/2401.02281v2
- Date: Mon, 15 Jul 2024 09:41:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 02:24:41.154389
- Title: PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation
- Title（参考訳）: PEGASUS:6DoFオブジェクト・ポース・データセット生成のための物理的に強化されたガウス・スプレイティング・シミュレーション・システム
- Authors: Lukas Meyer, Floris Erich, Yusuke Yoshiyasu, Marc Stamminger, Noriaki Ando, Yukiyasu Domae,
- Abstract要約: 6DOFオブジェクトポーズデータセット生成のためのPhysically Enhanced Gaussian Splatting Simulation System (PEG)を導入する。
環境や物体の表現は、コモディティカメラを用いて容易に得ることができ、ガウススプラッティングで再構成することができる。
本研究では,PEGが生成したデータに対するトレーニングにより,合成データから実世界のデータへのポーズ推定ネットワークの転送に成功できることを実証した。
- 参考スコア（独自算出の注目度）: 7.948521501726282
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Physically Enhanced Gaussian Splatting Simulation System (PEGASUS) for 6DOF object pose dataset generation, a versatile dataset generator based on 3D Gaussian Splatting. Environment and object representations can be easily obtained using commodity cameras to reconstruct with Gaussian Splatting. <i>PEGASUS</i> allows the composition of new scenes by merging the respective underlying Gaussian Splatting point cloud of an environment with one or multiple objects. Leveraging a physics engine enables the simulation of natural object placement within a scene through interaction between meshes extracted for the objects and the environment. Consequently, an extensive amount of new scenes - static or dynamic - can be created by combining different environments and objects. By rendering scenes from various perspectives, diverse data points such as RGB images, depth maps, semantic masks, and 6DoF object poses can be extracted. Our study demonstrates that training on data generated by PEGASUS enables pose estimation networks to successfully transfer from synthetic data to real-world data. Moreover, we introduce the Ramen dataset, comprising 30 Japanese cup noodle items. This dataset includes spherical scans that captures images from both object hemisphere and the Gaussian Splatting reconstruction, making them compatible with PEGASUS.
- Abstract（参考訳）: 本稿では,3次元ガウス分割に基づく多目的データセット生成システムである6DOFオブジェクトポーズデータセット生成のためのPhysically Enhanced Gaussian Splatting Simulation System (PEGASUS)を紹介する。
環境や物体の表現は、コモディティカメラを用いて容易に得ることができ、ガウススプラッティングで再構成することができる。
<i>PEGASUS</i>は,環境のガウススプラッティング点雲を1つまたは複数の物体と融合することにより,新たなシーンの合成を可能にする。
物理エンジンを活用することで、オブジェクトと環境のために抽出されたメッシュ間の相互作用を通じて、シーン内の自然なオブジェクト配置のシミュレーションが可能になる。
その結果、さまざまな環境とオブジェクトを組み合わせることで、大量の新しいシーン - 静的または動的 - を作成できる。
様々な視点からシーンをレンダリングすることで、RGB画像、深度マップ、セマンティックマスク、および6DoFオブジェクトポーズなどの多様なデータポイントを抽出することができる。
本研究では,PEGASUSが生成したデータに対するトレーニングにより,合成データから実世界のデータへのポーズ推定ネットワークの転送に成功していることを示す。
さらに,30個の日本製カップ麺品からなるラーメンデータセットについて紹介する。
このデータセットには、物体半球とガウススプラッティングの再構成の両方から画像をキャプチャする球面スキャンが含まれており、PEGASUSと互換性がある。
関連論文リスト
- Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
本稿では,3次元ガウス表現を活用して明示的な形状を捉え,学習中に暗黙的な形状を推定する新しいハイブリッドフレームワークを提案する。
私たちのパイプラインは、複数のベンチマークとメトリクスで最先端のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2024-06-21T07:37:17Z) - MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。
MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。
我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
論文 参考訳（メタデータ） (2024-06-17T17:55:55Z) - 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。
生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
論文 参考訳（メタデータ） (2024-03-17T06:31:16Z) - DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。
動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。
次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。
我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
論文 参考訳（メタデータ） (2023-12-13T06:30:51Z) - MS-PS: A Multi-Scale Network for Photometric Stereo With a New
Comprehensive Training Dataset [0.0]
光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。
そこで我々は,PSのマルチスケールアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-25T14:01:54Z) - Visual-Inertial Multi-Instance Dynamic SLAM with Object-level
Relocalisation [14.302118093865849]
密結合型ビジュアル・慣性オブジェクトレベルのマルチインスタンス動的SLAMシステムを提案する。
カメラのポーズ、速度、IMUバイアスを強く最適化し、環境の高密度な3D再構成オブジェクトレベルマップを構築することができる。
論文 参考訳（メタデータ） (2022-08-08T17:13:24Z) - STPLS3D: A Large-Scale Synthetic and Real Aerial Photogrammetry 3D Point
Cloud Dataset [6.812704277866377]
本稿では,合成空中測光点雲生成パイプラインを提案する。
仮想ゲームで合成データを生成するのとは異なり、提案したパイプラインは実環境の再構築プロセスをシミュレートする。
我々は、リッチな注釈付き合成3D空中測光点クラウドデータセットを提案する。
論文 参考訳（メタデータ） (2022-03-17T03:50:40Z) - Virtual Elastic Objects [18.228492027143307]
現実のオブジェクトのように振る舞う仮想オブジェクトを構築します。
我々は、微分可能な粒子ベースシミュレータを用いて、変形場を用いて代表材料パラメータを探索する。
各種力場下で12個のオブジェクトのデータセットを用いて実験を行い,コミュニティと共有する。
論文 参考訳（メタデータ） (2022-01-12T18:59:03Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳（メタデータ） (2021-05-07T03:49:26Z) - PhySG: Inverse Rendering with Spherical Gaussians for Physics-based
Material Editing and Relighting [60.75436852495868]
本稿では、RGB入力画像からジオメトリ、マテリアル、イルミネーションをゼロから再構築する逆レンダリングパイプラインPhySGを紹介します。
我々は合成データと実データの両方を用いて,新しい視点のレンダリングを可能にするだけでなく,物質や照明の物理ベースの外観編集を可能にすることを実証した。
論文 参考訳（メタデータ） (2021-04-01T17:59:02Z) - SIDOD: A Synthetic Image Dataset for 3D Object Pose Recognition with
Distractors [10.546457120988494]
このデータセットには144kのステレオ画像ペアが含まれており、最大10個のオブジェクトと3つのフォトリアリスティック仮想環境の18のカメラ視点を合成的に組み合わせている。
ドメインのランダム化に対する我々のアプローチを説明し、データセットを作成した決定について考察する。
論文 参考訳（メタデータ） (2020-08-12T00:14:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。