論文の概要: Laser: Latent Set Representations for 3D Generative Modeling

• arxiv url: http://arxiv.org/abs/2301.05747v1
• Date: Fri, 13 Jan 2023 20:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 19:11:42.626317
• Title: Laser: Latent Set Representations for 3D Generative Modeling
• Title（参考訳）: レーザー: 3次元生成モデリングのための潜在集合表現
• Authors: Pol Moreno, Adam R. Kosiorek, Heiko Strathmann, Daniel Zoran, Rosalia G. Schneider, Bj\"orn Winckler, Larisa Markeeva, Th\'eophane Weber, Danilo J. Rezende
• Abstract要約: NeRFは、任意の視点から3Dシーンをレンダリングする、新規ビュー合成の非並列な忠実性を提供する。 これまでのアプローチは、過度に単純なシーンに適用されたり、観測されていない部分をレンダリングするのに苦労していたりした。 本稿では,高モデル化能力を実現する生成モデルであるLaser-NVを紹介する。
• 参考スコア（独自算出の注目度）: 15.538056563481872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NeRF provides unparalleled fidelity of novel view synthesis: rendering a 3D scene from an arbitrary viewpoint. NeRF requires training on a large number of views that fully cover a scene, which limits its applicability. While these issues can be addressed by learning a prior over scenes in various forms, previous approaches have been either applied to overly simple scenes or struggling to render unobserved parts. We introduce Laser-NV: a generative model which achieves high modelling capacity, and which is based on a set-valued latent representation modelled by normalizing flows. Similarly to previous amortized approaches, Laser-NV learns structure from multiple scenes and is capable of fast, feed-forward inference from few views. To encourage higher rendering fidelity and consistency with observed views, Laser-NV further incorporates a geometry-informed attention mechanism over the observed views. Laser-NV further produces diverse and plausible completions of occluded parts of a scene while remaining consistent with observations. Laser-NV shows state-of-the-art novel-view synthesis quality when evaluated on ShapeNet and on a novel simulated City dataset, which features high uncertainty in the unobserved regions of the scene.
• Abstract（参考訳）: NeRFは、任意の視点から3Dシーンをレンダリングする、新規ビュー合成の非並列な忠実性を提供する。 NeRFはシーンを完全にカバーする多数のビューをトレーニングする必要があるため、適用性が制限される。 これらの問題は、様々な形態のシーンで事前学習することで対処できるが、以前のアプローチは、あまりにも単純なシーンに適用されるか、観察できない部分のレンダリングに苦労している。 本研究では,高モデリング能力を達成し,流れの正規化をモデルとした集合値潜在表現に基づく生成モデルであるlaser-nvを提案する。 従来のアモールト化アプローチと同様に、Laser-NVは複数のシーンから構造を学び、少数のビューから高速でフィードフォワード推論を行うことができる。 観察されたビューに対するレンダリングの忠実さと一貫性を高めるために、Laser-NVはさらに、観察されたビューに幾何学的インフォームドアテンション機構を組み込む。 レーザー-NVはさらに、観察と整合性を維持しながら、シーンの隠蔽部分の多様かつ可視的な完了を発生させる。 レーザ-NVは、ShapeNetや、未観測領域で高い不確実性を特徴とする、新しいシミュレートされた都市データセット上での評価において、最先端のノベルビュー合成品質を示す。

関連論文リスト

• DeBaRA: Denoising-Based 3D Room Arrangement Generation [22.96293773013579]
  有界環境における正確で制御可能で柔軟なアレンジメント生成に適したスコアベースモデルであるDeBaRAを紹介する。 本研究では,オブジェクトの空間特性に着目して,シーン合成や完了,再配置など,複数のダウンストリームアプリケーションを実行するために,単一トレーニングされたDeBaRAモデルをテスト時に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T23:18:25Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Template-free Articulated Neural Point Clouds for Reposable View Synthesis [11.535440791891217]
  本研究では,マルチビュー映像から動的NeRFと関連する骨格モデルを共同で学習する新しい手法を提案する。 我々のフォワードウォーピングアプローチは、新しいビューやポーズを合成する際に、最先端の視覚的忠実度を達成する。
  論文  参考訳（メタデータ） (2023-05-30T14:28:08Z)
• Neural Radiance Fields (NeRFs): A Review and Some Recent Developments [0.0]
  Neural Radiance Field(NeRF)は、完全に接続されたニューラルネットワークの重みの3Dシーンを表すフレームワークである。 ベースフレームワークの性能と能力を拡張する最近の開発によって、NeRFはポピュラーな研究分野になってきた。
  論文  参考訳（メタデータ） (2023-04-30T03:23:58Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。