論文の概要: Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving

• arxiv url: http://arxiv.org/abs/2306.14709v1
• Date: Mon, 26 Jun 2023 13:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 13:17:14.503155
• Title: Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving
• Title（参考訳）: 効率的なマルチスケールボクセル彫刻による大規模シーンの自己監督型2次元映像合成
• Authors: Alexandra Budisteanu, Dragos Costea, Alina Marcu and Marius Leordeanu
• Abstract要約: 実シーンの新たなビューを生成するために,効率的なマルチスケールのボクセル彫刻手法を提案する。 我々の最終的な高解像度出力は、ボクセル彫刻モジュールによって自動的に生成されるデータに基づいて効率よく自己学習される。 実環境における複雑で大規模なシーンにおける本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 77.07589573960436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of generating novel views of real scenes is increasingly important nowadays when AI models become able to create realistic new worlds. In many practical applications, it is important for novel view synthesis methods to stay grounded in the physical world as much as possible, while also being able to imagine it from previously unseen views. While most current methods are developed and tested in virtual environments with small scenes and no errors in pose and depth information, we push the boundaries to the real-world domain of large scales in the new context of UAVs. Our algorithmic contributions are two folds. First, we manage to stay anchored in the real 3D world, by introducing an efficient multi-scale voxel carving method, which is able to accommodate significant noises in pose, depth, and illumination variations, while being able to reconstruct the view of the world from drastically different poses at test time. Second, our final high-resolution output is efficiently self-trained on data automatically generated by the voxel carving module, which gives it the flexibility to adapt efficiently to any scene. We demonstrated the effectiveness of our method on highly complex and large-scale scenes in real environments while outperforming the current state-of-the-art. Our code is publicly available: https://github.com/onorabil/MSVC.
• Abstract（参考訳）: AIモデルが現実的な新しい世界を創造できるようになると、現実のシーンの新しいビューを生成するタスクはますます重要になっている。 多くの実践的応用において、新しい視点合成法は、これまで見えなかった視点から想像できるだけでなく、できるだけ物理的世界に根ざしたままにしておくことが重要である。 現在のほとんどの手法は仮想環境において小さなシーンで開発・テストされており、ポーズや深度情報に誤差はないが、UAVの新たなコンテキストにおいて大規模な領域に境界を押し付ける。 アルゴリズムによる貢献は2つある。 まず, ポーズ, 奥行き, 照明のバリエーションに大きなノイズを収容でき, かつ, テスト時に大きく異なるポーズから世界の景色を再現できる, 効率的な多スケールボクセル彫刻手法を導入することで, 実3次元の世界に定着することに成功した。 第2に,voxel型彫りモジュールが自動生成したデータに対して,最終的な高分解能出力を効率的に自己学習し,任意のシーンに効率的に適応する柔軟性を得る。 実環境における複雑で大規模なシーンにおける本手法の有効性を実証した。 コードはhttps://github.com/onorabil/msvc.com/。

関連論文リスト

• UnrealZoo: Enriching Photo-realistic Virtual Worlds for Embodied AI [37.47562766916571]
  Unreal Engine上に構築された写真リアルな3Dバーチャルワールドの豊富なコレクションであるUnrealZooを紹介します。 エンボディされたAIエージェントには、さまざまなプレイ可能なエンティティを提供しています。
  論文  参考訳（メタデータ） (2024-12-30T14:31:01Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Real-Time Neural Rasterization for Large Scenes [39.198327570559684]
  本研究では,大規模シーンのリアルタイムなノベルビュー合成のための新しい手法を提案する。 既存のニューラルネットワークレンダリング手法は現実的な結果を生成するが、主に小規模なシーンで機能する。 私たちの仕事は、大規模な現実世界のシーンのリアルタイムレンダリングを可能にする最初のものです。
  論文  参考訳（メタデータ） (2023-11-09T18:59:10Z)
• NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
  そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。 我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。 オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
  論文  参考訳（メタデータ） (2023-04-29T15:41:15Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
  従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。 異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。 本研究は,人間の頭と上半身の新たな視線を合成する手法である。
  論文  参考訳（メタデータ） (2020-12-17T22:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。