論文の概要: Convolutional Neural Opacity Radiance Fields

• arxiv url: http://arxiv.org/abs/2104.01772v1
• Date: Mon, 5 Apr 2021 04:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 22:54:26.363679
• Title: Convolutional Neural Opacity Radiance Fields
• Title（参考訳）: 畳み込み型神経不透明放射場
• Authors: Haimin Luo, Anpei Chen, Qixuan Zhang, Bai Pang, Minye Wu, Lan Xu, and Jingyi Yu
• Abstract要約: 複雑な不透明度を持つファジィオブジェクトのモデリングとレンダリングは多くの没入型vr/arアプリケーションにとって重要である。 ファジィ物体に対する畳み込みニューラルネットワークを用いた不透明度放射場生成手法を提案する。 本手法は,様々なファジィオブジェクトの詳細な外観と不透明な自由視点レンダリングを実現する。
• 参考スコア（独自算出の注目度）: 36.882840306387045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photo-realistic modeling and rendering of fuzzy objects with complex opacity are critical for numerous immersive VR/AR applications, but it suffers from strong view-dependent brightness, color. In this paper, we propose a novel scheme to generate opacity radiance fields with a convolutional neural renderer for fuzzy objects, which is the first to combine both explicit opacity supervision and convolutional mechanism into the neural radiance field framework so as to enable high-quality appearance and global consistent alpha mattes generation in arbitrary novel views. More specifically, we propose an efficient sampling strategy along with both the camera rays and image plane, which enables efficient radiance field sampling and learning in a patch-wise manner, as well as a novel volumetric feature integration scheme that generates per-patch hybrid feature embeddings to reconstruct the view-consistent fine-detailed appearance and opacity output. We further adopt a patch-wise adversarial training scheme to preserve both high-frequency appearance and opacity details in a self-supervised framework. We also introduce an effective multi-view image capture system to capture high-quality color and alpha maps for challenging fuzzy objects. Extensive experiments on existing and our new challenging fuzzy object dataset demonstrate that our method achieves photo-realistic, globally consistent, and fined detailed appearance and opacity free-viewpoint rendering for various fuzzy objects.
• Abstract（参考訳）: 複雑な不透明度を持つファジィオブジェクトのフォトリアリスティックなモデリングとレンダリングは、多くの没入型VR/ARアプリケーションにとって重要である。 本稿では, ファジィオブジェクトのための畳み込み型ニューラルレンダラを用いた不透明放射場生成手法を提案する。これは, 明示的な不透明性監視機構と畳み込み機構を結合して, 任意の新しい視点において, 高品質な外観とグローバルな一貫したアルファマット生成を可能にするための, ニューラル放射場フレームワークを提案する。 より具体的には、カメラ線と画像平面の両方と共に効率的なサンプリング戦略を提案し、パッチワイドで効率的なレイディアンスフィールドサンプリングと学習を可能にし、また、ビュー一貫性の細かい外観と不透明度出力を再構築するために、パッチごとのハイブリッド特徴埋め込みを生成する新しいボリューム特徴統合スキームを提案する。 さらに、自己監督型フレームワークにおいて、高頻度の外観と不透明度の詳細を両立させるパッチワイド対向訓練方式を採用する。 また,高画質カラーとアルファマップをキャプチャし,ファジィオブジェクトに挑戦できる効果的なマルチビュー画像キャプチャシステムを提案する。 既存のファジィオブジェクトデータセットと新しい挑戦的なファジィオブジェクトデータセットに関する広範囲な実験により,本手法が様々なファジィオブジェクトに対して,フォトリアリスティックでグローバルに一貫性があり,詳細な外観と不透明なフリービューポイントレンダリングを実現することを実証した。

関連論文リスト

• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• A Non-Uniform Low-Light Image Enhancement Method with Multi-Scale Attention Transformer and Luminance Consistency Loss [11.585269110131659]
  低照度画像強調は、薄暗い環境で収集された画像の知覚を改善することを目的としている。 既存の方法では、識別された輝度情報を適応的に抽出することができず、露光過多や露光過多を容易に引き起こすことができる。 MSATrというマルチスケールアテンション変換器を提案し,光バランスの局所的・グローバル的特徴を十分に抽出し,視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-12-27T10:07:11Z)
• NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
  多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。 NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。 我々は本手法を実データと合成データの両方で評価する。
  論文  参考訳（メタデータ） (2023-11-20T06:15:46Z)
• Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient [73.52585139592398]
  本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。 我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
  論文  参考訳（メタデータ） (2023-06-15T17:56:04Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
  パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。 視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。 我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
  論文  参考訳（メタデータ） (2022-10-10T09:43:26Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。