論文の概要: HourglassNeRF: Casting an Hourglass as a Bundle of Rays for Few-shot Neural Rendering

• arxiv url: http://arxiv.org/abs/2403.10906v1
• Date: Sat, 16 Mar 2024 11:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 21:06:03.172004
• Title: HourglassNeRF: Casting an Hourglass as a Bundle of Rays for Few-shot Neural Rendering
• Title（参考訳）: HourglassNeRF:Few-shot Neural Renderingのための光束としてHourglassを鋳造する
• Authors: Seunghyeon Seo, Yeonjin Chang, Jayeon Yoo, Seungwoo Lee, Hojun Lee, Nojun Kwak,
• Abstract要約: 我々は,新しい時間ガラス鋳造戦略を取り入れた効果的な正規化手法であるHourglassNeRFを提案する。 提案する砂時計は,元の入射光とそれに対応する反射光の間の領域に付加された光線の束として概念化されている。 提案した時間ガラスは, 反射光の反射光の集束であり, 元の入力線と対応する時間ガラスとの輝度の整合性を高める。
• 参考スコア（独自算出の注目度）: 24.521777082791473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in the Neural Radiance Field (NeRF) have bolstered its capabilities for novel view synthesis, yet its reliance on dense multi-view training images poses a practical challenge. Addressing this, we propose HourglassNeRF, an effective regularization-based approach with a novel hourglass casting strategy. Our proposed hourglass is conceptualized as a bundle of additional rays within the area between the original input ray and its corresponding reflection ray, by featurizing the conical frustum via Integrated Positional Encoding (IPE). This design expands the coverage of unseen views and enables an adaptive high-frequency regularization based on target pixel photo-consistency. Furthermore, we propose luminance consistency regularization based on the Lambertian assumption, which is known to be effective for training a set of augmented rays under the few-shot setting. Leveraging the inherent property of a Lambertian surface, which retains consistent luminance irrespective of the viewing angle, we assume our proposed hourglass as a collection of flipped diffuse reflection rays and enhance the luminance consistency between the original input ray and its corresponding hourglass, resulting in more physically grounded training framework and performance improvement. Our HourglassNeRF outperforms its baseline and achieves competitive results on multiple benchmarks with sharply rendered fine details. The code will be available.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、新しいビュー合成の能力を後押ししているが、密集したマルチビュー・トレーニング画像への依存は現実的な課題である。 そこで我々は,新しい時間ガラス鋳造戦略を取り入れた効果的な正規化手法であるHourglassNeRFを提案する。 提案手法は, 初期入力光線と対応する反射光線との領域内に付加された光線の束として概念化され, 統合位置符号化(IPE)により円錐状のフラストラムを破砕する。 この設計は、見えないビューのカバレッジを拡大し、ターゲット画素光一貫性に基づいた適応的な高周波正則化を可能にする。 さらに,ランベルトの仮定に基づく輝度整合正則化を提案する。 視角によらず一貫した輝度を保持するランバータ面の性質を生かし, 提案した時間ガラスをフリップ拡散反射線の集合体として仮定し, 元の入力線と対応する時間ガラスとの輝度の整合性を高めることにより, より物理的に接地したトレーニングフレームワークと性能向上を実現した。 我々のHourglassNeRFはベースラインを上回り、シャープに細部を絞り込んだ複数のベンチマークで競合する結果を得る。 コードは利用可能です。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis [30.25904672829623]
  FlipNeRFは,提案したフレキシブルリフレクション線を利用して,数発の新規ビュー合成のための新しい正規化手法である。 FlipNeRFは、異なるシーン構造全体にわたって効果的に浮かぶアーティファクトを削減し、より信頼性の高いアウトプットを見積もることができる。
  論文  参考訳（メタデータ） (2023-06-30T15:11:00Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。