論文の概要: Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments

• arxiv url: http://arxiv.org/abs/2212.06125v1
• Date: Mon, 12 Dec 2022 18:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 15:45:52.437722
• Title: Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments
• Title（参考訳）: ニューラルアセット:インタラクティブ環境のためのボリュームオブジェクトキャプチャとレンダリング
• Authors: Alja\v{z} Bo\v{z}i\v{c}, Denis Gladkov, Luke Doukakis and Christoph Lassner
• Abstract要約: 本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。 我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。 これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
• 参考スコア（独自算出の注目度）: 8.258451067861932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating realistic virtual assets is a time-consuming process: it usually involves an artist designing the object, then spending a lot of effort on tweaking its appearance. Intricate details and certain effects, such as subsurface scattering, elude representation using real-time BRDFs, making it impossible to fully capture the appearance of certain objects. Inspired by the recent progress of neural rendering, we propose an approach for capturing real-world objects in everyday environments faithfully and fast. We use a novel neural representation to reconstruct volumetric effects, such as translucent object parts, and preserve photorealistic object appearance. To support real-time rendering without compromising rendering quality, our model uses a grid of features and a small MLP decoder that is transpiled into efficient shader code with interactive framerates. This leads to a seamless integration of the proposed neural assets with existing mesh environments and objects. Thanks to the use of standard shader code rendering is portable across many existing hardware and software systems.
• Abstract（参考訳）: リアルなバーチャルアセットを作ることは、時間を要するプロセスだ。通常、アーティストがオブジェクトをデザインし、その外観の微調整に多くの労力を費やす。 表面下散乱のような複雑な詳細や特定の効果は、リアルタイムBRDFを用いて表現され、特定の物体の外観を完全に捉えることは不可能である。 近年のニューラルレンダリングの進歩に触発されて,日常環境における実世界の物体を忠実かつ高速に捉える手法を提案する。 我々は,透明な物体部品などの容積効果を復元し,光写実性オブジェクトの外観を保存するために,新しいニューラル表現を用いる。 レンダリング品質を損なうことなくリアルタイムレンダリングをサポートするために,我々のモデルは,インタラクティブなフレームレートを持つ効率的なシェーダコードに変換される,多数の機能と小さなMPPデコーダを使用する。 これにより、提案されたニューラルネットワークアセットと既存のメッシュ環境とオブジェクトのシームレスな統合が可能になる。 標準的なシェーダーコードレンダリングのおかげで、既存の多くのハードウェアやソフトウェアシステムで可搬性がある。

関連論文リスト

• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Real-Time Neural Rasterization for Large Scenes [39.198327570559684]
  本研究では,大規模シーンのリアルタイムなノベルビュー合成のための新しい手法を提案する。 既存のニューラルネットワークレンダリング手法は現実的な結果を生成するが、主に小規模なシーンで機能する。 私たちの仕事は、大規模な現実世界のシーンのリアルタイムレンダリングを可能にする最初のものです。
  論文  参考訳（メタデータ） (2023-11-09T18:59:10Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。