論文の概要: Real-Time Neural Rasterization for Large Scenes

• arxiv url: http://arxiv.org/abs/2311.05607v1
• Date: Thu, 9 Nov 2023 18:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 14:02:06.447514
• Title: Real-Time Neural Rasterization for Large Scenes
• Title（参考訳）: 大規模シーンのためのリアルタイムニューラルラスタライゼーション
• Authors: Jeffrey Yunfan Liu, Yun Chen, Ze Yang, Jingkang Wang, Sivabalan Manivasagam, Raquel Urtasun
• Abstract要約: 本研究では,大規模シーンのリアルタイムなノベルビュー合成のための新しい手法を提案する。 既存のニューラルネットワークレンダリング手法は現実的な結果を生成するが、主に小規模なシーンで機能する。 私たちの仕事は、大規模な現実世界のシーンのリアルタイムレンダリングを可能にする最初のものです。
• 参考スコア（独自算出の注目度）: 39.198327570559684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method for realistic real-time novel-view synthesis (NVS) of large scenes. Existing neural rendering methods generate realistic results, but primarily work for small scale scenes (<50 square meters) and have difficulty at large scale (>10000 square meters). Traditional graphics-based rasterization rendering is fast for large scenes but lacks realism and requires expensive manually created assets. Our approach combines the best of both worlds by taking a moderate-quality scaffold mesh as input and learning a neural texture field and shader to model view-dependant effects to enhance realism, while still using the standard graphics pipeline for real-time rendering. Our method outperforms existing neural rendering methods, providing at least 30x faster rendering with comparable or better realism for large self-driving and drone scenes. Our work is the first to enable real-time rendering of large real-world scenes.
• Abstract（参考訳）: 本研究では,大規模シーンのリアルタイムノベルビュー合成(nvs)のための新しい手法を提案する。 既存のニューラルネットワークレンダリング手法は現実的な結果を生成するが、主に小規模シーン(50平方メートル)で機能し、大規模シーン(10000平方メートル)では困難である。 従来のグラフィックベースのラスタライズレンダリングは大きなシーンでは高速だが、リアリズムに欠け、手作業で作る高価な資産を必要とする。 我々のアプローチは、中程度の質の足場メッシュを入力として取り、ニューラルネットワークのテクスチャフィールドとシェーダーを学習することで、現実性を高めるためにビュー依存効果をモデル化し、なおもリアルタイムレンダリングに標準グラフィックスパイプラインを使用しながら、両方の世界の長所を結合する。 提案手法は既存のニューラルレンダリング手法よりも優れており、大規模な自動運転およびドローンシーンにおいて、同等あるいはより良いリアリズムで少なくとも30倍高速なレンダリングを実現する。 私たちの仕事は、大規模な現実世界のシーンのリアルタイムレンダリングを可能にする最初のものです。

関連論文リスト

• City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web [26.92522314818356]
  City-on-Webは、Web上の大規模シーンをリアルタイムにレンダリングする最初の方法である。 本稿では,Web上のGTX 3060 GPUを用いて,約32FPSの大規模シーンのリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-12-27T08:00:47Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction [53.28220984270622]
  3次元再構成法はリアルタイムに3次元整合性のある高忠実度結果を生成する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving [77.07589573960436]
  実シーンの新たなビューを生成するために,効率的なマルチスケールのボクセル彫刻手法を提案する。 我々の最終的な高解像度出力は、ボクセル彫刻モジュールによって自動的に生成されるデータに基づいて効率よく自己学習される。 実環境における複雑で大規模なシーンにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-26T13:57:05Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments [8.258451067861932]
  本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。 我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。 これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
  論文  参考訳（メタデータ） (2022-12-12T18:55:03Z)
• Real-time Virtual-Try-On from a Single Example Image through Deep Inverse Graphics and Learned Differentiable Renderers [13.894134334543363]
  本稿では,リアルタイム逆グラフィックエンコーダを構築するためのディープラーニングに基づく新しいフレームワークを提案する。 我々の模倣者は、与えられた非微分可能画像の振舞いを正確に再現することを学ぶ生成ネットワークである。 我々のフレームワークは、消費者がインスピレーション付き参照画像から未知の商品を仮想的に試すことのできる新しいアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-05-12T18:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。