論文の概要: LPA3D: 3D Room-Level Scene Generation from In-the-Wild Images

• arxiv url: http://arxiv.org/abs/2504.02337v1
• Date: Thu, 03 Apr 2025 07:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:56:34.501850
• Title: LPA3D: 3D Room-Level Scene Generation from In-the-Wild Images
• Title（参考訳）: LPA3D: in-the-Wild画像からの3次元ルームレベルシーン生成
• Authors: Ming-Jia Yang, Yu-Xiao Guo, Yang Liu, Bin Zhou, Xin Tong,
• Abstract要約: LPA-GAN(LPA-GAN)は、LPAのカメラポーズの先行を推定するために、特定の修正を組み込んだ新しいNeRFベースの生成手法である。 本手法は,ビュー・ツー・ビューの整合性とセマンティック・ノーマル性に優れる。
• 参考スコア（独自算出の注目度）: 23.258004561060563
• License:
• Abstract: Generating realistic, room-level indoor scenes with semantically plausible and detailed appearances from in-the-wild images is crucial for various applications in VR, AR, and robotics. The success of NeRF-based generative methods indicates a promising direction to address this challenge. However, unlike their success at the object level, existing scene-level generative methods require additional information, such as multiple views, depth images, or semantic guidance, rather than relying solely on RGB images. This is because NeRF-based methods necessitate prior knowledge of camera poses, which is challenging to approximate for indoor scenes due to the complexity of defining alignment and the difficulty of globally estimating poses from a single image, given the unseen parts behind the camera. To address this challenge, we redefine global poses within the framework of Local-Pose-Alignment (LPA) -- an anchor-based multi-local-coordinate system that uses a selected number of anchors as the roots of these coordinates. Building on this foundation, we introduce LPA-GAN, a novel NeRF-based generative approach that incorporates specific modifications to estimate the priors of camera poses under LPA. It also co-optimizes the pose predictor and scene generation processes. Our ablation study and comparisons with straightforward extensions of NeRF-based object generative methods demonstrate the effectiveness of our approach. Furthermore, visual comparisons with other techniques reveal that our method achieves superior view-to-view consistency and semantic normality.
• Abstract（参考訳）: VR、AR、ロボット工学の様々な応用に欠かせない、リアルで室内レベルのシーンを、セマンティックに妥当で詳細な画像から作り出すことは、様々な用途に欠かせない。 NeRFを用いた生成手法の成功は、この課題に対処するための有望な方向性を示している。 しかし、オブジェクトレベルでの成功とは異なり、既存のシーンレベルの生成手法では、RGB画像のみに頼るのではなく、複数のビュー、深度画像、セマンティックガイダンスなどの追加情報を必要とする。 これは、カメラの背景にある不明瞭な部分を考えると、カメラのアライメントを定義するのが複雑であり、一つの画像からのポーズを世界規模で推定することが困難であるため、カメラのポーズに関する事前の知識を必要とするためである。 この課題に対処するために、我々は、選択された多数のアンカーをこれらの座標の根源として使用するアンカーベースのマルチローカル座標系である、ローカル・パース・アライメント(LPA)のフレームワーク内で、グローバルなポーズを再定義する。 この基礎の上に構築されたLPA-GANは、LPA下でのカメラポーズの先行を推定するために、特定の修正を組み込んだ新しいNeRFベースの生成手法である。 また、ポーズ予測とシーン生成のプロセスを共同で最適化する。 われわれはNeRFを用いたオブジェクト生成手法の簡単な拡張法との比較検討を行い,提案手法の有効性を実証した。 さらに,他の手法と視覚的比較を行った結果,本手法はビュー・ツー・ビューの整合性と意味的正規性に優れることがわかった。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
  ポースグラフ最適化手法を拡張する新しい手法を提案する。 我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。 我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
  論文  参考訳（メタデータ） (2024-03-25T17:47:03Z)
• ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding [40.36882490080341]
  暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。 判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。 提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
  論文  参考訳（メタデータ） (2023-04-27T07:53:13Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)
• 3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning [11.599633757222406]
  近年、畳み込みニューラルネットワークに基づくエンドツーエンドのアプローチは、従来の3次元幾何学に基づく手法を達成または超えるように研究されている。 本研究では,絶対カメラポーズ回帰のためのコンパクトネットワークを提案する。 これらの従来の手法から着想を得た3Dシーンの幾何学的制約も、動き、深さ、画像の内容を含むすべての利用可能な情報を活用することによって導入される。
  論文  参考訳（メタデータ） (2020-05-13T04:15:14Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。