論文の概要: Infinite Leagues Under the Sea: Photorealistic 3D Underwater Terrain Generation by Latent Fractal Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.06784v1
• Date: Sun, 09 Mar 2025 21:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:47.210701
• Title: Infinite Leagues Under the Sea: Photorealistic 3D Underwater Terrain Generation by Latent Fractal Diffusion Models
• Title（参考訳）: 海面における無限リーグ:潜在フラクタル拡散モデルによる光リアルな3次元水中テランの生成
• Authors: Tianyi Zhang, Weiming Zhi, Joshua Mangelson, Matthew Johnson-Roberson,
• Abstract要約: 超現実的な水中シーンを生成するための生成モデルであるDreamSeaを紹介する。 DreamSeaは、水中ロボットサーベイから収集した実世界の画像データベースに基づいて訓練されている。
• 参考スコア（独自算出の注目度）: 13.58353565350936
• License:
• Abstract: This paper tackles the problem of generating representations of underwater 3D terrain. Off-the-shelf generative models, trained on Internet-scale data but not on specialized underwater images, exhibit downgraded realism, as images of the seafloor are relatively uncommon. To this end, we introduce DreamSea, a generative model to generate hyper-realistic underwater scenes. DreamSea is trained on real-world image databases collected from underwater robot surveys. Images from these surveys contain massive real seafloor observations and covering large areas, but are prone to noise and artifacts from the real world. We extract 3D geometry and semantics from the data with visual foundation models, and train a diffusion model that generates realistic seafloor images in RGBD channels, conditioned on novel fractal distribution-based latent embeddings. We then fuse the generated images into a 3D map, building a 3DGS model supervised by 2D diffusion priors which allows photorealistic novel view rendering. DreamSea is rigorously evaluated, demonstrating the ability to robustly generate large-scale underwater scenes that are consistent, diverse, and photorealistic. Our work drives impact in multiple domains, spanning filming, gaming, and robot simulation.
• Abstract（参考訳）: 本稿では,水中の3次元地形の表現に挑戦する。 インターネット規模のデータで訓練されているが、特殊な水中画像では訓練されていないオフザシェルフ生成モデルは、海底のイメージが比較的珍しいため、劣化したリアリズムを示す。 そこで本研究では,超現実的な水中シーンを生成するための生成モデルであるDreamSeaを紹介する。 DreamSeaは、水中ロボットサーベイから収集した実世界の画像データベースに基づいて訓練されている。 これらの調査から得られた画像は、大規模な海底観測や広範囲のカバーを含むが、現実の世界からの騒音や人工物の影響を受けやすい。 視覚基礎モデルを用いてデータから3次元幾何学と意味論を抽出し,新しいフラクタル分布に基づく潜伏埋め込みを条件とした,RGBDチャネルでリアルな海底画像を生成する拡散モデルを訓練する。 そして、生成した画像を3Dマップに融合し、2D拡散先行によって教師される3DGSモデルを構築し、フォトリアリスティックなノベルビューレンダリングを可能にする。 DreamSeaは厳格に評価されており、一貫性があり、多様性があり、フォトリアリスティックな大規模な水中シーンを堅牢に生成する能力を示している。 私たちの仕事は、撮影、ゲーム、ロボットシミュレーションなど、複数の領域における影響を加速させます。

関連論文リスト

• Aquatic-GS: A Hybrid 3D Representation for Underwater Scenes [6.549998173302729]
  本研究では,水中の物体と水媒体の両方を効果的に表現するハイブリッド3D表現手法であるAquatic-GSを提案する。 具体的には、暗黙的に水パラメータをモデル化するニューラルウォーターフィールド(NWF)を構築し、最新の3Dガウススプラッティング(3DGS)を拡張してオブジェクトを明示的にモデル化する。 両方のコンポーネントは、複雑な水中シーンを表現するために、物理学に基づく水中画像形成モデルを介して統合される。
  論文  参考訳（メタデータ） (2024-10-31T22:24:56Z)
• SeaSplat: Representing Underwater Scenes with 3D Gaussian Splatting and a Physically Grounded Image Formation Model [11.57677379828992]
  本研究では,最近の3次元放射場の発展を生かした水中シーンのリアルタイムレンダリングを可能にするSeaSplatを紹介する。 SeaSplatを、アメリカ領ヴァージン諸島の水中車両が収集したSeaThru-NeRFデータセットの現実世界のシーンに適用する。 水中画像形成はシーン構造を学習し, 深度マップを改良し, 3次元ガウス表現の活用による計算精度の向上を図った。
  論文  参考訳（メタデータ） (2024-09-25T20:45:19Z)
• Director3D: Real-world Camera Trajectory and 3D Scene Generation from Text [61.9973218744157]
  実世界の3Dシーンと適応カメラトラジェクトリの両方を生成するように設計された,堅牢なオープンワールドテキスト・ツー・3D生成フレームワークであるDirector3Dを紹介する。 Director3Dは既存の手法よりも優れており、実世界の3D生成において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-06-25T14:42:51Z)
• Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
  リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。 近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。 我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。 G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:52Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Underwater Light Field Retention : Neural Rendering for Underwater Imaging [6.22867695581195]
  水中画像レンダリングは、指定されたクリーンな画像から本物の水中画像を生成することを目的としている。 本稿では,UWNR(Underwater Neural Rendering)と呼ばれる水中画像のニューラルネットワークレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-21T14:22:05Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• Generating Physically-Consistent Satellite Imagery for Climate Visualizations [53.61991820941501]
  我々は,将来的な洪水や森林再生イベントの合成衛星画像を作成するために,生成的敵ネットワークを訓練する。 純粋なディープラーニングベースのモデルでは、洪水の可視化を生成することができるが、洪水の影響を受けない場所では幻覚的な洪水が発生する。 我々は,地球観測におけるセグメンテーションガイドによる画像と画像の変換のためのコードとデータセットを公開している。
  論文  参考訳（メタデータ） (2021-04-10T15:00:15Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Deep Sea Robotic Imaging Simulator [6.2122699483618]
  海洋の最大の部分である深海は、現在もほとんど未調査のままである。 深海画像は浅い海域で撮影された画像とは大きく異なり、この地域はコミュニティからはあまり注目されなかった。 本稿では,空気中のテクスチャと深度情報を入力として利用する物理モデルに基づく画像シミュレーションソリューションを提案する。
  論文  参考訳（メタデータ） (2020-06-27T16:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。