論文の概要: ZS-SRT: An Efficient Zero-Shot Super-Resolution Training Method for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2312.12122v1
• Date: Tue, 19 Dec 2023 12:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 15:40:44.755893
• Title: ZS-SRT: An Efficient Zero-Shot Super-Resolution Training Method for Neural Radiance Fields
• Title（参考訳）: ZS-SRT:ニューラルネットワーク分野における効率的なゼロショット超解法学習法
• Authors: Xiang Feng, Yongbo He, Yubo Wang, Chengkai Wang, Zhenzhong Kuang, Jiajun Ding, Feiwei Qin, Jun Yu, Jianping Fan
• Abstract要約: ニューラルレイディアンスフィールド(NeRF)のためのゼロショット超分解能トレーニングフレームワークを提案する。 このフレームワークは、NeRFモデルを誘導し、シングルシーンの内部学習を通して高解像度の新規ビューを合成することを目的としている。 提案手法は,(1)高精細度ビューや付加シーンデータを用いて超高精細度NeRFを訓練しない,(2)粗大度戦略を採用することにより,トレーニングプロセスを高速化できる,という2点に特化している。
• 参考スコア（独自算出の注目度）: 11.740757572828404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) have achieved great success in the task of synthesizing novel views that preserve the same resolution as the training views. However, it is challenging for NeRF to synthesize high-quality high-resolution novel views with low-resolution training data. To solve this problem, we propose a zero-shot super-resolution training framework for NeRF. This framework aims to guide the NeRF model to synthesize high-resolution novel views via single-scene internal learning rather than requiring any external high-resolution training data. Our approach consists of two stages. First, we learn a scene-specific degradation mapping by performing internal learning on a pretrained low-resolution coarse NeRF. Second, we optimize a super-resolution fine NeRF by conducting inverse rendering with our mapping function so as to backpropagate the gradients from low-resolution 2D space into the super-resolution 3D sampling space. Then, we further introduce a temporal ensemble strategy in the inference phase to compensate for the scene estimation errors. Our method is featured on two points: (1) it does not consume high-resolution views or additional scene data to train super-resolution NeRF; (2) it can speed up the training process by adopting a coarse-to-fine strategy. By conducting extensive experiments on public datasets, we have qualitatively and quantitatively demonstrated the effectiveness of our method.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、トレーニング・ビューと同じ解像度を維持する新しいビューを合成するタスクにおいて大きな成功を収めた。 しかし、NeRFが低解像度のトレーニングデータを用いて高品質な高解像度の新規ビューを合成することは困難である。 この問題を解決するために,NRFのためのゼロショット超解像トレーニングフレームワークを提案する。 このフレームワークは、NeRFモデルを誘導し、外部の高解像度トレーニングデータを必要とせず、単一シーンの内部学習を通して高解像度の新規ビューを合成することを目的としている。 我々のアプローチは2つの段階からなる。 まず,事前学習された低分解能粗いnerf上で内部学習を行うことで,シーン固有の劣化マッピングを学習する。 第2に、低分解能2次元空間から超分解能3次元サンプリング空間への勾配をバックプロパゲートするために、マッピング関数で逆レンダリングを行うことにより、超分解能微細NeRFを最適化する。 さらに,シーン推定誤差を補償するために,推定フェーズにおいて時間的アンサンブル戦略を導入する。 本手法は,(1)高分解能のビューや追加のシーンデータを使用しない,(2)粗い対極戦略を採用することでトレーニングプロセスを高速化できる,という2点に特色がある。 公開データセットに関する広範囲な実験を行い,本手法の有効性を定量的に実証した。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• ASSR-NeRF: Arbitrary-Scale Super-Resolution on Voxel Grid for High-Quality Radiance Fields Reconstruction [27.21399221644529]
  暗黙的あるいは明示的な表現を持つ放射場を構築することにより、NeRFに基づく3Dシーンの再構成を行う。 超高解像度ノベルビュー合成のための新しいフレームワークであるArbitrary-Scale Super-Resolution NeRF (ASSR-NeRF)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:22:33Z)
• Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
  ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。 SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。 REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:26Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
  室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-13T06:40:08Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• Blind Image Super-Resolution with Spatial Context Hallucination [5.849485167287474]
  本稿では, 劣化カーネルを知らずに, 視覚的超解像のための空間文脈幻覚ネットワーク(SCHN)を提案する。 DIV2KとFlickr2Kという2つの高品質データセットでモデルをトレーニングします。 入力画像がランダムなぼかしとノイズで劣化した場合, 最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-09-25T22:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。