論文の概要: Object-based Illumination Estimation with Rendering-aware Neural Networks

• arxiv url: http://arxiv.org/abs/2008.02514v1
• Date: Thu, 6 Aug 2020 08:23:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 07:21:39.204830
• Title: Object-based Illumination Estimation with Rendering-aware Neural Networks
• Title（参考訳）: レンダリング対応ニューラルネットワークを用いたオブジェクトベース照明推定
• Authors: Xin Wei, Guojun Chen, Yue Dong, Stephen Lin and Xin Tong
• Abstract要約: 個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
• 参考スコア（独自算出の注目度）: 56.01734918693844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a scheme for fast environment light estimation from the RGBD appearance of individual objects and their local image areas. Conventional inverse rendering is too computationally demanding for real-time applications, and the performance of purely learning-based techniques may be limited by the meager input data available from individual objects. To address these issues, we propose an approach that takes advantage of physical principles from inverse rendering to constrain the solution, while also utilizing neural networks to expedite the more computationally expensive portions of its processing, to increase robustness to noisy input data as well as to improve temporal and spatial stability. This results in a rendering-aware system that estimates the local illumination distribution at an object with high accuracy and in real time. With the estimated lighting, virtual objects can be rendered in AR scenarios with shading that is consistent to the real scene, leading to improved realism.
• Abstract（参考訳）: 本稿では,個々の物体のrgbd出現とその局所画像領域から,高速な環境光量推定手法を提案する。 従来の逆レンダリングはリアルタイムアプリケーションには計算量が多いため、純粋な学習ベースの手法の性能は、個々のオブジェクトから利用可能な単なる入力データによって制限される可能性がある。 そこで本研究では, 逆レンダリングから解の制約まで, 物理原理を活用し, 計算コストの高い処理をニューラルネットワークで高速化し, 雑音入力データに対する頑健性を高め, 時間的, 空間的安定性を向上させる手法を提案する。 これにより,物体の局所照明分布を高精度かつリアルタイムに推定するレンダリング認識システムを実現する。 推定された照明により、仮想オブジェクトは実際のシーンと一致したシェーディングでarシナリオでレンダリングできるため、リアリズムが改善される。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• LitAR: Visually Coherent Lighting for Mobile Augmented Reality [24.466149552743516]
  本稿では,LitARという照明再建フレームワークの設計と実装について述べる。 LitARは、モバイルARの照明情報をサポートするいくつかの課題に対処する。
  論文  参考訳（メタデータ） (2023-01-15T20:47:38Z)
• FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks [33.489890950757975]
  FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。 我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
  論文  参考訳（メタデータ） (2022-09-20T19:48:56Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• Combining Local and Global Pose Estimation for Precise Tracking of Similar Objects [2.861848675707602]
  類似・非テクスチャオブジェクトに対する多目的6D検出・追跡パイプラインを提案する。 合成画像のみを訓練した新しいネットワークアーキテクチャは、複数のオブジェクトの同時ポーズ推定を可能にする。 建設現場における実際のAR支援アプリケーションにおいて,システムがどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2022-01-31T14:36:57Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• HDR Environment Map Estimation for Real-Time Augmented Reality [7.6146285961466]
  視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。 これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
  論文  参考訳（メタデータ） (2020-11-21T01:01:53Z)
• Dynamic Object Removal and Spatio-Temporal RGB-D Inpainting via Geometry-Aware Adversarial Learning [9.150245363036165]
  動的物体はロボットの環境に対する認識に大きな影響を及ぼす。 本研究は,動的物体によって隠蔽された領域における可塑性色,テクスチャ,幾何学を合成することにより,この問題に対処する。 本研究は, 対人訓練を用いて建築を最適化し, オンラインで色と深度構造を幻覚できるような, 微妙な現実的なテクスチャを合成する。
  論文  参考訳（メタデータ） (2020-08-12T01:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。