論文の概要: PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation

• arxiv url: http://arxiv.org/abs/2401.02281v2
• Date: Mon, 15 Jul 2024 09:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-17 02:24:41.154389
• Title: PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation
• Title（参考訳）: PEGASUS:6DoFオブジェクト・ポース・データセット生成のための物理的に強化されたガウス・スプレイティング・シミュレーション・システム
• Authors: Lukas Meyer, Floris Erich, Yusuke Yoshiyasu, Marc Stamminger, Noriaki Ando, Yukiyasu Domae,
• Abstract要約: 6DOFオブジェクトポーズデータセット生成のためのPhysically Enhanced Gaussian Splatting Simulation System (PEG)を導入する。 環境や物体の表現は、コモディティカメラを用いて容易に得ることができ、ガウススプラッティングで再構成することができる。 本研究では,PEGが生成したデータに対するトレーニングにより,合成データから実世界のデータへのポーズ推定ネットワークの転送に成功できることを実証した。
• 参考スコア（独自算出の注目度）: 7.948521501726282
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Physically Enhanced Gaussian Splatting Simulation System (PEGASUS) for 6DOF object pose dataset generation, a versatile dataset generator based on 3D Gaussian Splatting. Environment and object representations can be easily obtained using commodity cameras to reconstruct with Gaussian Splatting. <i>PEGASUS</i> allows the composition of new scenes by merging the respective underlying Gaussian Splatting point cloud of an environment with one or multiple objects. Leveraging a physics engine enables the simulation of natural object placement within a scene through interaction between meshes extracted for the objects and the environment. Consequently, an extensive amount of new scenes - static or dynamic - can be created by combining different environments and objects. By rendering scenes from various perspectives, diverse data points such as RGB images, depth maps, semantic masks, and 6DoF object poses can be extracted. Our study demonstrates that training on data generated by PEGASUS enables pose estimation networks to successfully transfer from synthetic data to real-world data. Moreover, we introduce the Ramen dataset, comprising 30 Japanese cup noodle items. This dataset includes spherical scans that captures images from both object hemisphere and the Gaussian Splatting reconstruction, making them compatible with PEGASUS.
• Abstract（参考訳）: 本稿では,3次元ガウス分割に基づく多目的データセット生成システムである6DOFオブジェクトポーズデータセット生成のためのPhysically Enhanced Gaussian Splatting Simulation System (PEGASUS)を紹介する。 環境や物体の表現は、コモディティカメラを用いて容易に得ることができ、ガウススプラッティングで再構成することができる。 <i>PEGASUS</i>は,環境のガウススプラッティング点雲を1つまたは複数の物体と融合することにより,新たなシーンの合成を可能にする。 物理エンジンを活用することで、オブジェクトと環境のために抽出されたメッシュ間の相互作用を通じて、シーン内の自然なオブジェクト配置のシミュレーションが可能になる。 その結果、さまざまな環境とオブジェクトを組み合わせることで、大量の新しいシーン - 静的または動的 - を作成できる。 様々な視点からシーンをレンダリングすることで、RGB画像、深度マップ、セマンティックマスク、および6DoFオブジェクトポーズなどの多様なデータポイントを抽出することができる。 本研究では,PEGASUSが生成したデータに対するトレーニングにより,合成データから実世界のデータへのポーズ推定ネットワークの転送に成功していることを示す。 さらに,30個の日本製カップ麺品からなるラーメンデータセットについて紹介する。 このデータセットには、物体半球とガウススプラッティングの再構成の両方から画像をキャプチャする球面スキャンが含まれており、PEGASUSと互換性がある。

関連論文リスト

• Cut-and-Splat: Leveraging Gaussian Splatting for Synthetic Data Generation [0.7864304771129751]
  我々は、特定のオブジェクトに対するコンテキスト対応のインスタンスセグメンテーショントレーニングデータを生成するための合成データパイプラインを開発する。 対象物体のガウススティングモデルを訓練し,映像から対象物を自動的に抽出する。 次に、ランダムな背景画像にオブジェクトを描画し、モノクロ深度推定を用いて、オブジェクトを信頼できるポーズに配置する。
  論文  参考訳（メタデータ） (2025-04-11T12:04:49Z)
• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• DecoupledGaussian: Object-Scene Decoupling for Physics-Based Interaction [21.80091691062415]
  DecoupledGaussianは、接触した表面から静止物体を分離する新しいシステムだ。 DecoupledGaussianを総合的なユーザスタディと定量的ベンチマークで検証する。 このシステムは、現実世界の環境におけるオブジェクトやシーンとのデジタルインタラクションを強化し、VR、ロボティクス、自動運転といった産業に恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-07T14:54:54Z)
• ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
  コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。 既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。 3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
  論文  参考訳（メタデータ） (2025-02-26T10:25:32Z)
• FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [59.77970844874235]
  スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。 FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。 テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
  論文  参考訳（メタデータ） (2024-12-12T18:52:53Z)
• GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
  本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。 まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。 GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2024-10-31T06:17:16Z)
• GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
  本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。 物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。 本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。 抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-06-21T07:37:17Z)
• MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
  NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。 MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。 我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:55Z)
• MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [27.081250446161114]
  本稿では,この課題に対処するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは、3Dガウス人がメッシュの近くで歩き回ることを制約し、相互に吸着されたメッシュ-ガウスの3D表現を生成する。 このような表現は、3Dガウスのレンダリングの柔軟性とメッシュの構造的特性の両方を利用する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:51Z)
• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes [57.12439406121721]
  我々は動的自律走行シーンを囲む効率的かつ効果的なフレームワークであるDrivingGaussianを提案する。 動くオブジェクトを持つ複雑なシーンでは、まずシーン全体の静的な背景を逐次、段階的にモデル化します。 次に、複合動的ガウスグラフを利用して、複数の移動物体を処理する。 我々はさらに、ガウススプラッティングに先立ってLiDARを使用して、より詳細でシーンを再構築し、パノラマ一貫性を維持する。
  論文  参考訳（メタデータ） (2023-12-13T06:30:51Z)
• MS-PS: A Multi-Scale Network for Photometric Stereo With a New Comprehensive Training Dataset [0.0]
  光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。 そこで我々は,PSのマルチスケールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-25T14:01:54Z)
• STPLS3D: A Large-Scale Synthetic and Real Aerial Photogrammetry 3D Point Cloud Dataset [6.812704277866377]
  本稿では,合成空中測光点雲生成パイプラインを提案する。 仮想ゲームで合成データを生成するのとは異なり、提案したパイプラインは実環境の再構築プロセスをシミュレートする。 我々は、リッチな注釈付き合成3D空中測光点クラウドデータセットを提案する。
  論文  参考訳（メタデータ） (2022-03-17T03:50:40Z)
• Virtual Elastic Objects [18.228492027143307]
  現実のオブジェクトのように振る舞う仮想オブジェクトを構築します。 我々は、微分可能な粒子ベースシミュレータを用いて、変形場を用いて代表材料パラメータを探索する。 各種力場下で12個のオブジェクトのデータセットを用いて実験を行い,コミュニティと共有する。
  論文  参考訳（メタデータ） (2022-01-12T18:59:03Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• SIDOD: A Synthetic Image Dataset for 3D Object Pose Recognition with Distractors [10.546457120988494]
  このデータセットには144kのステレオ画像ペアが含まれており、最大10個のオブジェクトと3つのフォトリアリスティック仮想環境の18のカメラ視点を合成的に組み合わせている。 ドメインのランダム化に対する我々のアプローチを説明し、データセットを作成した決定について考察する。
  論文  参考訳（メタデータ） (2020-08-12T00:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。