論文の概要: Frequency-Modulated Point Cloud Rendering with Easy Editing

• arxiv url: http://arxiv.org/abs/2303.07596v1
• Date: Tue, 14 Mar 2023 02:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:44:55.078367
• Title: Frequency-Modulated Point Cloud Rendering with Easy Editing
• Title（参考訳）: 編集が容易な周波数変調ポイントクラウドレンダリング
• Authors: Yi Zhang, Xiaoyang Huang, Bingbing Ni, Teng Li, Wenjun Zhang
• Abstract要約: 新規なビュー合成のための効率的なポイントクラウドレンダリングパイプラインを開発する。 私たちのパイプラインはリアルタイムレンダリングとユーザフレンドリな編集をサポートしています。 暗黙的なレンダリングとは対照的に、私たちのパイプラインはポイントクラウド操作に基づく高忠実なインタラクティブな編集をサポートしています。
• 参考スコア（独自算出の注目度）: 46.299091125921656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop an effective point cloud rendering pipeline for novel view synthesis, which enables high fidelity local detail reconstruction, real-time rendering and user-friendly editing. In the heart of our pipeline is an adaptive frequency modulation module called Adaptive Frequency Net (AFNet), which utilizes a hypernetwork to learn the local texture frequency encoding that is consecutively injected into adaptive frequency activation layers to modulate the implicit radiance signal. This mechanism improves the frequency expressive ability of the network with richer frequency basis support, only at a small computational budget. To further boost performance, a preprocessing module is also proposed for point cloud geometry optimization via point opacity estimation. In contrast to implicit rendering, our pipeline supports high-fidelity interactive editing based on point cloud manipulation. Extensive experimental results on NeRF-Synthetic, ScanNet, DTU and Tanks and Temples datasets demonstrate the superior performances achieved by our method in terms of PSNR, SSIM and LPIPS, in comparison to the state-of-the-art.
• Abstract（参考訳）: 本研究では,高忠実度ローカルディテール再構築,リアルタイムレンダリング,ユーザフレンドリーな編集を可能にする,新しいビュー合成のための効率的なポイントクラウドレンダリングパイプラインを開発する。 パイプラインの中心部には、適応周波数変調モジュールであるAdaptive Frequency Net (AFNet) があり、これはハイパーネットワークを用いて、適応周波数活性化層に連続的に注入された局所テクスチャ周波数符号化を学習し、暗示放射信号の変調を行う。 このメカニズムは、少ない計算予算でのみ、よりリッチな周波数ベースサポートを持つネットワークの周波数表現能力を向上させる。 さらに性能向上のために,点不透明度推定による点雲形状最適化のための前処理モジュールを提案する。 暗黙的なレンダリングとは対照的に,当社のパイプラインでは,ポイントクラウド操作に基づく忠実度の高いインタラクティブな編集をサポートしています。 NRF-Synthetic, ScanNet, DTU, Tanks and Temples データセットの大規模な実験結果から,PSNR, SSIM, LPIPS の手法で得られた性能を最先端技術と比較した。

関連論文リスト

• GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
  新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。 G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。 G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:30:51Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Re-ReND: Real-time Rendering of NeRFs across Devices [56.081995086924216]
  Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T15:59:41Z)
• DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier Convolution for Low-light Image Enhancement [1.2645663389012574]
  低照度画像の高精細化は、低照度画像から通常の露光画像を復元することを目的とした古典的なコンピュータビジョン問題である。 この分野でよく使われる畳み込みニューラルネットワークは、空間領域の低周波局所構造の特徴をサンプリングするのに長けている。 周波数位相のセマンティクスの制約の下で高品質なテクスチャの詳細を復元できるフーリエ係数を用いた新しいモジュールを提案する。
  論文  参考訳（メタデータ） (2022-09-16T13:56:09Z)
• Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time [43.0484840009621]
  Neural Radiance Field (NeRF)のような暗黙の神経表現は、主にマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。 本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。 提案手法は,元のNeRFよりも3000倍高速で,SOTAよりも1桁の加速速度を持つことを示す。
  論文  参考訳（メタデータ） (2022-02-17T11:57:01Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。