論文の概要: Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering

• arxiv url: http://arxiv.org/abs/2210.03693v1
• Date: Fri, 7 Oct 2022 16:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:52:51.955476
• Title: Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering
• Title（参考訳）: ニューラルポイントクラウドレンダリングのためのマルチ周波数対応パッチ逆学習
• Authors: Jay Karhade, Haiyue Zhu, Ka-Shing Chung, Rajesh Tripathy, Wei Lin, Marcelo H. Ang Jr
• Abstract要約: ニューラルポイントクラウドレンダリングパイプラインを、新しいマルチ周波数対応パッチ対向学習フレームワークを通じて提示する。 提案手法は,実画像と合成画像のスペクトル差を最小化することにより,レンダリングの精度を向上させることを目的としている。 提案手法は,ニューラルポイントクラウドレンダリングにおける最先端の結果を有意差で生成する。
• 参考スコア（独自算出の注目度）: 7.522462414919854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a neural point cloud rendering pipeline through a novel multi-frequency-aware patch adversarial learning framework. The proposed approach aims to improve the rendering realness by minimizing the spectrum discrepancy between real and synthesized images, especially on the high-frequency localized sharpness information which causes image blur visually. Specifically, a patch multi-discriminator scheme is proposed for the adversarial learning, which combines both spectral domain (Fourier Transform and Discrete Wavelet Transform) discriminators as well as the spatial (RGB) domain discriminator to force the generator to capture global and local spectral distributions of the real images. The proposed multi-discriminator scheme not only helps to improve rendering realness, but also enhance the convergence speed and stability of adversarial learning. Moreover, we introduce a noise-resistant voxelisation approach by utilizing both the appearance distance and spatial distance to exclude the spatial outlier points caused by depth noise. Our entire architecture is fully differentiable and can be learned in an end-to-end fashion. Extensive experiments show that our method produces state-of-the-art results for neural point cloud rendering by a significant margin. Our source code will be made public at a later date.
• Abstract（参考訳）: 本稿では,新しいマルチ周波数対応パッチアドバーサリアン学習フレームワークを用いて,ニューラルポイントクラウドレンダリングパイプラインを提案する。 提案手法は,実画像と合成画像のスペクトル差を最小化し,特に画像のぼやけを引き起こす高周波局所的シャープネス情報について,レンダリングの現実性を改善することを目的としている。 具体的には、スペクトル領域(フーリエ変換および離散ウェーブレット変換)判別器と空間領域(RGB)判別器を併用し、実画像のグローバルおよびローカルなスペクトル分布を抽出するようジェネレータに強制する、逆数学習のためのパッチ多重判別器方式を提案する。 提案手法は,レンダリング現実性の向上だけでなく,対向学習の収束速度や安定性の向上にも寄与する。 さらに, 出現距離と空間距離の両方を利用して, 深さ雑音による空間的外れ点を除外し, 耐雑音ボクセル化手法を提案する。 私たちのアーキテクチャ全体は完全に微分可能で、エンドツーエンドで学べます。 広汎な実験により,本手法はニューラルポイントクラウドレンダリングにおける最先端の結果をかなりのマージンで生成することを示した。 ソースコードは後で公開します。

関連論文リスト

• Robust Network Learning via Inverse Scale Variational Sparsification [55.64935887249435]
  時間連続な逆スケール空間の定式化において、逆スケールの変動スペーサー化フレームワークを導入する。 周波数ベースの手法とは異なり、我々の手法は小さな特徴を滑らかにすることでノイズを除去するだけでなく、ノイズを除去する。 各種騒音に対する頑健性の向上によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-27T03:17:35Z)
• RL-based Stateful Neural Adaptive Sampling and Denoising for Real-Time Path Tracing [1.534667887016089]
  モンテカルロ経路追跡は、現実的な画像合成の強力な手法であるが、低いサンプル数での高レベルのノイズに悩まされている。 本稿では,サンプリング重要度ネットワーク,遅延空間エンコーダネットワーク,デノイザネットワークをエンドツーエンドでトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-05T12:39:27Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier Convolution for Low-light Image Enhancement [1.2645663389012574]
  低照度画像の高精細化は、低照度画像から通常の露光画像を復元することを目的とした古典的なコンピュータビジョン問題である。 この分野でよく使われる畳み込みニューラルネットワークは、空間領域の低周波局所構造の特徴をサンプリングするのに長けている。 周波数位相のセマンティクスの制約の下で高品質なテクスチャの詳細を復元できるフーリエ係数を用いた新しいモジュールを提案する。
  論文  参考訳（メタデータ） (2022-09-16T13:56:09Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。