論文の概要: SVS: Adversarial refinement for sparse novel view synthesis

• arxiv url: http://arxiv.org/abs/2211.07301v1
• Date: Mon, 14 Nov 2022 12:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 17:12:19.062294
• Title: SVS: Adversarial refinement for sparse novel view synthesis
• Title（参考訳）: SVS: スパースビュー合成のための逆改良
• Authors: Violeta Men\'endez Gonz\'alez, Andrew Gilbert, Graeme Phillipson, Stephen Jolly, Simon Hadfield
• Abstract要約: 本稿では,参照ビューの数が限られているビュー合成問題を提案する。 現在の放射界法は、3次元浮動小塊、ぼやけ、構造的重複によって破滅的に失敗する。 このような地域での幻覚的なシーンの内容に焦点をあてる。 得られたシステムは、この問題に関する現在の最先端の放射場モデルと比較して、知覚精度を最大60%向上させる。
• 参考スコア（独自算出の注目度）: 21.35917056958527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes Sparse View Synthesis. This is a view synthesis problem where the number of reference views is limited, and the baseline between target and reference view is significant. Under these conditions, current radiance field methods fail catastrophically due to inescapable artifacts such 3D floating blobs, blurring and structural duplication, whenever the number of reference views is limited, or the target view diverges significantly from the reference views. Advances in network architecture and loss regularisation are unable to satisfactorily remove these artifacts. The occlusions within the scene ensure that the true contents of these regions is simply not available to the model. In this work, we instead focus on hallucinating plausible scene contents within such regions. To this end we unify radiance field models with adversarial learning and perceptual losses. The resulting system provides up to 60% improvement in perceptual accuracy compared to current state-of-the-art radiance field models on this problem.
• Abstract（参考訳）: 本稿ではスパースビュー合成を提案する。 これは、参照ビューの数を制限するビュー合成問題であり、ターゲットと参照ビューの間のベースラインが重要である。 これらの条件下では、現在の放射界法は、3次元浮動小冊子やぼやけ、構造的重複など、参照ビューの数が限られている場合や、対象ビューが参照ビューから大きくばらつき、破滅的に失敗する。 ネットワークアーキテクチャの進歩と損失正規化は、これらの成果物を十分に取り除くことができない。 シーン内の閉塞は、これらの領域の真の内容が単にモデルで利用できないことを保証します。 そこで本研究では,これらの領域における可視的なシーン内容の幻覚化に着目した。 この目的のために、逆学習と知覚的損失を伴う放射場モデルを統一する。 得られたシステムは、この問題に関する現在の最先端の放射場モデルと比較して、知覚精度を最大60%向上させる。

関連論文リスト

• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• Ray Priors through Reprojection: Improving Neural Radiance Fields for Novel View Extrapolation [35.47411859184933]
  本研究では,(1)トレーニング画像が対象をうまく表現できる,(2)トレーニング画像とテスト視点の分布との間には顕著な相違点がある,という新しい視点外挿設定について検討する。 ランダムな光線キャスティングポリシーを提案する。 観測された光線の視方向から予め計算された光アトラスは、外挿された視界のレンダリング品質をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-05-12T07:21:17Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Light Field Neural Rendering [47.7586443731997]
  幾何再構成に基づく手法はスパースビューのみを必要とするが、非ランベルト効果を正確にモデル化することはできない。 強みを組み合わせたモデルを導入し、これらの2つの方向の制限を緩和する。 我々のモデルは、複数の前方向きデータセットと360degデータセットで最先端のモデルより優れています。
  論文  参考訳（メタデータ） (2021-12-17T18:58:05Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• Fristograms: Revealing and Exploiting Light Field Internals [1.0323063834827415]
  光フィールド(LF)の捕捉と処理は、メディア生産の不可欠な部分となっている。 本稿では,LFの撮影装置と光線の関係を確立することを目的とする。 フラクセル上の線数ヒストグラム(フレストグラム)を提案する。
  論文  参考訳（メタデータ） (2021-07-22T10:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。