論文の概要: Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering

• arxiv url: http://arxiv.org/abs/2304.10075v2
• Date: Mon, 18 Sep 2023 10:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:10:31.203213
• Title: Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering
• Title（参考訳）: リアルタイムアンチエイリアシングニューラルレンダリングのためのマルチスケール表現
• Authors: Dongting Hu, Zhenkai Zhang, Tingbo Hou, Tongliang Liu, Huan Fu and Mingming Gong
• Abstract要約: Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
• 参考スコア（独自算出の注目度）: 84.37776381343662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rendering scheme in neural radiance field (NeRF) is effective in rendering a pixel by casting a ray into the scene. However, NeRF yields blurred rendering results when the training images are captured at non-uniform scales, and produces aliasing artifacts if the test images are taken in distant views. To address this issue, Mip-NeRF proposes a multiscale representation as a conical frustum to encode scale information. Nevertheless, this approach is only suitable for offline rendering since it relies on integrated positional encoding (IPE) to query a multilayer perceptron (MLP). To overcome this limitation, we propose mip voxel grids (Mip-VoG), an explicit multiscale representation with a deferred architecture for real-time anti-aliasing rendering. Our approach includes a density Mip-VoG for scene geometry and a feature Mip-VoG with a small MLP for view-dependent color. Mip-VoG encodes scene scale using the level of detail (LOD) derived from ray differentials and uses quadrilinear interpolation to map a queried 3D location to its features and density from two neighboring downsampled voxel grids. To our knowledge, our approach is the first to offer multiscale training and real-time anti-aliasing rendering simultaneously. We conducted experiments on multiscale datasets, and the results show that our approach outperforms state-of-the-art real-time rendering baselines.
• Abstract（参考訳）: ニューラルレイディアンスフィールド(NeRF)のレンダリングスキームは、シーンにレイを投入することによりピクセルのレンダリングに有効である。 しかし、nerfはトレーニング画像が一様でないスケールでキャプチャされるとぼやけたレンダリング結果をもたらし、テスト画像が遠くの視点で撮影された場合、エイリアシングアーティファクトを生成する。 この問題に対処するため、Mip-NeRFはスケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 それでもこのアプローチは、多層パーセプトロン(MLP)のクエリにIPE(Integrated positional encoding)に依存するため、オフラインレンダリングにのみ適している。 この制限を克服するために、リアルタイムアンチエイリアシングレンダリングのための遅延アーキテクチャを備えた明示的なマルチスケール表現であるmip voxel grids (mip-vog)を提案する。 我々のアプローチには、シーン幾何学のための密度 Mip-VoG と、ビュー依存色のための小さな MLP を備えた特徴 Mip-VoG が含まれる。 mip-vogは、レイディファレンシャルから派生したディテールレベル(lod)を使用してシーンスケールをエンコードし、クエリされた3d位置をその特徴と隣接する2つのボクセルグリッドから密度にマッピングする。 私たちの知る限り、私たちのアプローチは、マルチスケールトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。 マルチスケールデータセットの実験を行い、その結果、我々のアプローチは最先端のリアルタイムレンダリングベースラインよりも優れていることが示された。

関連論文リスト

• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering [7.522462414919854]
  ニューラルポイントクラウドレンダリングパイプラインを、新しいマルチ周波数対応パッチ対向学習フレームワークを通じて提示する。 提案手法は,実画像と合成画像のスペクトル差を最小化することにより,レンダリングの精度を向上させることを目的としている。 提案手法は,ニューラルポイントクラウドレンダリングにおける最先端の結果を有意差で生成する。
  論文  参考訳（メタデータ） (2022-10-07T16:54:15Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
  最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。 既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。 既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
  論文  参考訳（メタデータ） (2022-06-15T17:44:22Z)
• VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis [82.99951440043759]
  微分勾配はコンピュータグラフィックスの視覚タスクへの応用を可能にする。 音量密度で最寄りの成分を捕捉するためにレイトレーシングを用いるVoGEを提案する。 本稿では,PyTorch3Dと競合するレンダリング速度を提供するVoGEの実装について述べる。
  論文  参考訳（メタデータ） (2022-05-30T19:52:11Z)
• Efficient Textured Mesh Recovery from Multiple Views with Differentiable Rendering [8.264851594332677]
  マルチビュー画像からテクスチャメッシュを復元する手法を提案する。 学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより形状形状を最適化する。 形状や色に対する暗黙的なニューラル表現とは対照的に,物体の光と反射を共同で推定する物理ベース逆レンダリング方式を導入する。
  論文  参考訳（メタデータ） (2022-05-25T03:33:55Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。