論文の概要: DreamSat: Towards a General 3D Model for Novel View Synthesis of Space Objects

• arxiv url: http://arxiv.org/abs/2410.05097v1
• Date: Mon, 7 Oct 2024 14:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:18:32.974250
• Title: DreamSat: Towards a General 3D Model for Novel View Synthesis of Space Objects
• Title（参考訳）: DreamSat: 宇宙物体の新しい視点合成のための汎用3次元モデルを目指して
• Authors: Nidhi Mathihalli, Audrey Wei, Giovanni Lavezzi, Peng Mun Siew, Victor Rodriguez-Fernandez, Hodei Urrutxua, Richard Linares,
• Abstract要約: 本研究では,DreamSatという単一視点画像から3次元宇宙船を再構成する手法を提案する。 我々は、高品質な190の宇宙船モデルのデータセットに基づいて、最先端の単一ビュー再構成モデルであるZero123 XLを微調整する。 このアプローチは、DreamGaussianフレームワークの効率を維持しながら、宇宙船の復元の精度と詳細を向上する。
• 参考スコア（独自算出の注目度）: 0.6986413087958454
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Novel view synthesis (NVS) enables to generate new images of a scene or convert a set of 2D images into a comprehensive 3D model. In the context of Space Domain Awareness, since space is becoming increasingly congested, NVS can accurately map space objects and debris, improving the safety and efficiency of space operations. Similarly, in Rendezvous and Proximity Operations missions, 3D models can provide details about a target object's shape, size, and orientation, allowing for better planning and prediction of the target's behavior. In this work, we explore the generalization abilities of these reconstruction techniques, aiming to avoid the necessity of retraining for each new scene, by presenting a novel approach to 3D spacecraft reconstruction from single-view images, DreamSat, by fine-tuning the Zero123 XL, a state-of-the-art single-view reconstruction model, on a high-quality dataset of 190 high-quality spacecraft models and integrating it into the DreamGaussian framework. We demonstrate consistent improvements in reconstruction quality across multiple metrics, including Contrastive Language-Image Pretraining (CLIP) score (+0.33%), Peak Signal-to-Noise Ratio (PSNR) (+2.53%), Structural Similarity Index (SSIM) (+2.38%), and Learned Perceptual Image Patch Similarity (LPIPS) (+0.16%) on a test set of 30 previously unseen spacecraft images. Our method addresses the lack of domain-specific 3D reconstruction tools in the space industry by leveraging state-of-the-art diffusion models and 3D Gaussian splatting techniques. This approach maintains the efficiency of the DreamGaussian framework while enhancing the accuracy and detail of spacecraft reconstructions. The code for this work can be accessed on GitHub (https://github.com/ARCLab-MIT/space-nvs).
• Abstract（参考訳）: 新しいビュー合成(NVS)により、シーンの新しい画像を生成したり、2D画像のセットを包括的な3Dモデルに変換することができる。 Space Domain Awarenessの文脈では、宇宙はますます混雑しているので、NVSは宇宙オブジェクトとデブリを正確にマッピングし、宇宙運用の安全性と効率を向上させることができる。 同様に、Rendezvous と Proximity Operations のミッションでは、3Dモデルは対象のオブジェクトの形状、大きさ、方向に関する詳細を提供することができ、ターゲットの振る舞いをよりよく計画し予測することができる。 本研究は,高画質の190個の宇宙船モデルを用いて,現状の単一視点再構成モデルであるZero123 XLを微調整し,DreamGaussianフレームワークに組み込むことにより,新たな3次元宇宙船再構成への新たなアプローチを提示することによって,各シーンの再訓練の必要性を回避することを目的として,これらの再構築技術の一般化能力について検討する。 コントラスト言語-画像事前学習(CLIP)スコア(+0.33%)、ピーク信号-雑音比(PSNR)(+2.53%)、構造的類似度指数(SSIM)(+2.38%)、学習された知覚的画像パッチ類似度(LPIPS)(+0.16%)など、複数の指標における再現性の向上を実証した。 本研究では,最先端拡散モデルと3次元ガウススプラッティング技術を活用することで,宇宙産業におけるドメイン固有3次元再構成ツールの欠如に対処する。 このアプローチは、DreamGaussianフレームワークの効率を維持しながら、宇宙船の復元の精度と詳細を向上する。 この作業のコードはGitHubでアクセスできる(https://github.com/ARCLab-MIT/space-nvs)。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis [22.493542492218303]
  視覚的等方性3D再構成モデル (VI3DRM) は、一貫した立体空間内で動作するスパースビュー3D再構成モデルである。 セマンティック情報、色、材料特性、照明の切り離しを容易にすることで、VI3DRMは極めてリアルな画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-12T16:47:57Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)
• Vision-based Neural Scene Representations for Spacecraft [1.0323063834827415]
  高度なミッションコンセプトでは、宇宙船は内部の近くの軌道上の物体のポーズと形状をモデル化する必要があります。 ニューラルシーン表現における最近の研究は、光学画像から汎用的な3次元シーンを推定する有望な結果を示している。 NeRFとGRAFのポテンシャルを比較し、評価し、新しいビューをレンダリングし、2つの異なる宇宙船の3D形状を抽出します。
  論文  参考訳（メタデータ） (2021-05-11T08:35:05Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。