論文の概要: Neural Volume Super-Resolution

• arxiv url: http://arxiv.org/abs/2212.04666v1
• Date: Fri, 9 Dec 2022 04:54:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 15:13:39.111516
• Title: Neural Volume Super-Resolution
• Title（参考訳）: ニューラルボリューム超解法
• Authors: Yuval Bahat, Yuxuan Zhang, Hendrik Sommerhoff, Andreas Kolb and Felix Heide
• Abstract要約: 本稿では,シーンの体積表現を直接操作する超解像ネットワークを提案する。 複数の2次元特徴面にヒンジを付ける新しい3次元表現を考案する。 これにより、2次元特徴面上に2次元畳み込みネットワークを適用することで、3次元シーン表現を超解することができる。
• 参考スコア（独自算出の注目度）: 49.879789224455436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural volumetric representations have become a widely adopted model for radiance fields in 3D scenes. These representations are fully implicit or hybrid function approximators of the instantaneous volumetric radiance in a scene, which are typically learned from multi-view captures of the scene. We investigate the new task of neural volume super-resolution - rendering high-resolution views corresponding to a scene captured at low resolution. To this end, we propose a neural super-resolution network that operates directly on the volumetric representation of the scene. This approach allows us to exploit an advantage of operating in the volumetric domain, namely the ability to guarantee consistent super-resolution across different viewing directions. To realize our method, we devise a novel 3D representation that hinges on multiple 2D feature planes. This allows us to super-resolve the 3D scene representation by applying 2D convolutional networks on the 2D feature planes. We validate the proposed method's capability of super-resolving multi-view consistent views both quantitatively and qualitatively on a diverse set of unseen 3D scenes, demonstrating a significant advantage over existing approaches.
• Abstract（参考訳）: ニューラルボリューム表現は3次元シーンにおける放射場モデルとして広く採用されている。 これらの表現は完全に暗黙的あるいはハイブリッドな関数であり、シーン内の瞬時ボリュームの放射能の近似値であり、通常、シーンのマルチビューキャプチャから学習される。 低解像度で撮影されたシーンに対応する高解像度の映像をレンダリングするニューラルボリューム超解像の新しい課題について検討する。 そこで本研究では,シーンの体積表現を直接操作する超解像ネットワークを提案する。 このアプローチは、ボリューム領域における操作の利点、すなわち、異なる視野方向における一貫した超解像を保証する能力を利用することができる。 本手法を実現するために,複数の2次元特徴平面に係わる新たな3次元表現を考案する。 これにより,2次元特徴平面上に2次元畳み込みネットワークを適用することで,3次元シーン表現の超解像が可能になる。 提案手法は,様々な3次元シーンにおいて定量的かつ定性的にマルチビューに一貫性のあるビューを超解き,既存手法よりも大きなアドバンテージを示している。

関連論文リスト

• Reference-free Axial Super-resolution of 3D Microscopy Images using Implicit Neural Representation with a 2D Diffusion Prior [4.1326413814647545]
  学習に基づく3次元超解像モデルの訓練には、真理等方性ボリュームが必要であり、次元の呪いに苦しむ。 既存の方法では、2Dニューラルネットワークを使用して各軸スライスを再構築し、最終的には体積全体をまとめる。 独立軸スライスにより最適化された場合でも3次元コヒーレンシを実現する暗黙的ニューラル表現(INR)に基づく再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-16T09:14:12Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural Volumetric Object Selection [126.04480613166194]
  マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。 提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
  論文  参考訳（メタデータ） (2022-05-30T08:55:20Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。