論文の概要: Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering

• arxiv url: http://arxiv.org/abs/2304.10075v2
• Date: Mon, 18 Sep 2023 10:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:10:31.203213
• Title: Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering
• Title（参考訳）: リアルタイムアンチエイリアシングニューラルレンダリングのためのマルチスケール表現
• Authors: Dongting Hu, Zhenkai Zhang, Tingbo Hou, Tongliang Liu, Huan Fu and Mingming Gong
• Abstract要約: Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
• 参考スコア（独自算出の注目度）: 84.37776381343662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rendering scheme in neural radiance field (NeRF) is effective in rendering a pixel by casting a ray into the scene. However, NeRF yields blurred rendering results when the training images are captured at non-uniform scales, and produces aliasing artifacts if the test images are taken in distant views. To address this issue, Mip-NeRF proposes a multiscale representation as a conical frustum to encode scale information. Nevertheless, this approach is only suitable for offline rendering since it relies on integrated positional encoding (IPE) to query a multilayer perceptron (MLP). To overcome this limitation, we propose mip voxel grids (Mip-VoG), an explicit multiscale representation with a deferred architecture for real-time anti-aliasing rendering. Our approach includes a density Mip-VoG for scene geometry and a feature Mip-VoG with a small MLP for view-dependent color. Mip-VoG encodes scene scale using the level of detail (LOD) derived from ray differentials and uses quadrilinear interpolation to map a queried 3D location to its features and density from two neighboring downsampled voxel grids. To our knowledge, our approach is the first to offer multiscale training and real-time anti-aliasing rendering simultaneously. We conducted experiments on multiscale datasets, and the results show that our approach outperforms state-of-the-art real-time rendering baselines.
• Abstract（参考訳）: ニューラルレイディアンスフィールド(NeRF)のレンダリングスキームは、シーンにレイを投入することによりピクセルのレンダリングに有効である。 しかし、nerfはトレーニング画像が一様でないスケールでキャプチャされるとぼやけたレンダリング結果をもたらし、テスト画像が遠くの視点で撮影された場合、エイリアシングアーティファクトを生成する。 この問題に対処するため、Mip-NeRFはスケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 それでもこのアプローチは、多層パーセプトロン(MLP)のクエリにIPE(Integrated positional encoding)に依存するため、オフラインレンダリングにのみ適している。 この制限を克服するために、リアルタイムアンチエイリアシングレンダリングのための遅延アーキテクチャを備えた明示的なマルチスケール表現であるmip voxel grids (mip-vog)を提案する。 我々のアプローチには、シーン幾何学のための密度 Mip-VoG と、ビュー依存色のための小さな MLP を備えた特徴 Mip-VoG が含まれる。 mip-vogは、レイディファレンシャルから派生したディテールレベル(lod)を使用してシーンスケールをエンコードし、クエリされた3d位置をその特徴と隣接する2つのボクセルグリッドから密度にマッピングする。 私たちの知る限り、私たちのアプローチは、マルチスケールトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。 マルチスケールデータセットの実験を行い、その結果、我々のアプローチは最先端のリアルタイムレンダリングベースラインよりも優れていることが示された。

関連論文リスト

• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Freq-Mip-AA : Frequency Mip Representation for Anti-Aliasing Neural Radiance Fields [3.796287987989994]
  Mip-NeRFはフラストタムを用いてピクセルを描画し、統合位置符号化(IPE)を提案する。 このアプローチは有効であるが、ボリュームアーキテクチャに依存しているため、長いトレーニング時間を必要とする。 本稿では,グリッドベース表現を利用した新しいアンチエイリアス手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T06:33:56Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Mip-Grid: Anti-aliased Grid Representations for Neural Radiance Fields [12.910072009005065]
  我々は、反エイリアス手法をグリッドベースの放射場表現に組み込む新しいアプローチであるmip-blurを提案する。 提案手法は,共有グリッド表現上に単純な畳み込み演算を適用してマルチスケールグリッドを生成する。
  論文  参考訳（メタデータ） (2024-02-22T00:45:40Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering [7.522462414919854]
  ニューラルポイントクラウドレンダリングパイプラインを、新しいマルチ周波数対応パッチ対向学習フレームワークを通じて提示する。 提案手法は,実画像と合成画像のスペクトル差を最小化することにより,レンダリングの精度を向上させることを目的としている。 提案手法は,ニューラルポイントクラウドレンダリングにおける最先端の結果を有意差で生成する。
  論文  参考訳（メタデータ） (2022-10-07T16:54:15Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
  最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。 既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。 既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
  論文  参考訳（メタデータ） (2022-06-15T17:44:22Z)
• Efficient Textured Mesh Recovery from Multiple Views with Differentiable Rendering [8.264851594332677]
  マルチビュー画像からテクスチャメッシュを復元する手法を提案する。 学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより形状形状を最適化する。 形状や色に対する暗黙的なニューラル表現とは対照的に,物体の光と反射を共同で推定する物理ベース逆レンダリング方式を導入する。
  論文  参考訳（メタデータ） (2022-05-25T03:33:55Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。