論文の概要: Directionally Factorized Illumination with Spherical Harmonic Rotation
- arxiv url: http://arxiv.org/abs/2610.24811v1
- Date: Sat, 17 Oct 2026 18:35:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 16:05:57.191552
- Title: Directionally Factorized Illumination with Spherical Harmonic Rotation
- Title（参考訳）: 球状高調波回転による方向分解イルミネーション
- Abstract要約: 我々は、NeRFのような新しいビュー合成(NVS)パイプラインにプラグインできる textbfDaFISH を提案する。
点当たりの発色を表面アルベドと球面調和(SH)表現照明因子に分解する。
最強のスプレイティングベースラインと最も近いNeRFベースのベースラインよりも改善され、従来の方法と比較して常にビューにわたってシーンを回復する。
- 参考スコア（独自算出の注目度）: 3.489901757241885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many real-world capture scenarios involve an active light source rigidly attached to the camera: camera flashes for dark-environment imaging, underwater vehicle lights, and endoscopic/laparoscopic medical procedures. As the camera moves, the co-mounted light moves with it, causing the illumination direction at each surface point to change across views. Neural rendering methods (NeRF, Gaussian Splatting) encode this pose-dependent illumination as surface coloration, producing appearance inconsistencies and making it harder to recover the underlying scene. We present \textbf{DaFISH}, which can be plugged into any novel-view synthesis (NVS) pipeline such as NeRF. It factorizes per-point emitted color into surface albedo and a spherical harmonic (SH)-represented illumination factor. During training, the SH illumination is evaluated directly, enabling stable joint optimization of albedo, lighting, and geometry. \textbf{DaFISH} provides analytical generalization of illumination to arbitrary camera poses without retraining. Building on the closed-form SH-to-irradiance conversion, the training pipeline is fully differentiable from SH evaluation through volume rendering. Averaged over the held-out frames of the five scenes, \textbf{DaFISH} attains the best mean PSNR (38.91\,dB), SSIM (0.9613), and LPIPS (0.0582) among all compared methods. It improves over the strongest splatting baseline as well as the closest NeRF-based baseline, while recovering the scene consistently across views compared to prior methods.
- Abstract（参考訳）: 暗黒環境撮影用のカメラフラッシュ、水中車両の照明、内視鏡/腹腔鏡の医療手順などだ。
カメラが動くと、コマウントされた光がそれと共に動き、各面の照明方向がビューを横切るように変化する。
ニューラルレンダリング法(NeRF, Gaussian Splatting)は、このポーズ依存照明を表面色として符号化し、外観の不整合を生じさせ、背景のシーンの回復を困難にする。
我々は、NeRFのような新しいビュー合成 (NVS) パイプラインにプラグインできる \textbf{DaFISH} を提案する。
点当たりの発色を表面アルベドと球面調和(SH)表現照明因子に分解する。
トレーニング中、SH照明を直接評価し、アルベド、照明、幾何学の安定した関節最適化を可能にする。
\textbf{DaFISH} は、照度を任意のカメラポーズに再トレーニングせずに解析的に一般化する。
閉形SH-to-irradiance変換に基づいて、トレーニングパイプラインは、ボリュームレンダリングによるSH評価と完全に差別化可能である。
5つのシーンのホールドアウトフレーム上で平均化され、比較されたメソッドの中で、 \textbf{DaFISH} はPSNR (38.91\,dB)、SSIM (0.9613)、LPIPS (0.0582) の最高値に達した。
最強のスプレイティングベースラインと最も近いNeRFベースのベースラインよりも改善され、従来の方法と比較して常にビューにわたってシーンを回復する。
関連論文リスト
- SpotlessGS: Relightable 3D Gaussian Splatting under Dynamic Illumination for Robotic Perception [20.515607443256073]
我々はDark Gaussian Splattingをより正確でフレキシブルな3D再構成フレームワークに拡張する。
球面高調波に基づく低周波照明モデルを導入し,空間的に異なる残差と周囲の照明効果を捉える。
合成および実世界のデータセットに対する実験により,従来の手法よりもレンダリング品質と量的性能を向上しつつ,照明アーチファクトを効果的に軽減できることが示されている。
論文 参考訳（メタデータ） (2026-08-11T17:35:34Z) - LightHarmony3D: Harmonizing Illumination and Shadows for Object Insertion in 3D Gaussian Splatting [90.15229815175593]
光ハーモニー3D(LightHarmony3D)について述べる。
繰り返し最適化の代わりに生成前処理を活用することにより,本手法はシーン照明を効率よく捉えることができる。
3DGSでメッシュ挿入のための最初の専用ベンチマークを導入し、照明の一貫性と光リアリズムを評価するための標準化された評価フレームワークを提供する。
論文 参考訳（メタデータ） (2026-03-31T03:26:30Z) - Learning Latent Proxies for Controllable Single-Image Relighting [29.76860042350802]
シングルイメージのリライトは非常に制約の少ない。
物理的プリエントを2つのレベルで統合するLightCtrlを導入する。
また、大規模なオブジェクトレベルのデータセットであるScaLightも紹介します。
論文 参考訳（メタデータ） (2026-03-16T17:16:59Z) - Unifying Color and Lightness Correction with View-Adaptive Curve Adjustment for Robust 3D Novel View Synthesis [73.27997579020233]
多様な照明条件下での堅牢なNVSのための3DGSベースのフレームワークであるLuminance-GS++を提案する。
本手法は,グローバルな視野適応光度調整と局所画素ワイド残差補正を組み合わせ,正確な色補正を行う。
論文 参考訳（メタデータ） (2026-02-20T16:20:50Z) - GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera [18.90141473604964]
室内シーンの逆レンダリングは、反射率と照明のあいまいさのため、依然として困難である。
GLOWは、これらの課題に対処するために設計された、Global Illumination-aware Inverse Renderingフレームワークである。
論文 参考訳（メタデータ） (2025-11-28T03:24:12Z) - LuxDiT: Lighting Estimation with Video Diffusion Transformer [66.60450792095901]
単一の画像やビデオからシーンライティングを推定することは、コンピュータビジョンとグラフィックスにおいて長年の課題である。
本稿では,映像拡散変換器を微調整し,視覚入力を前提としたHDR環境マップを生成するLuxDiTを提案する。
論文 参考訳（メタデータ） (2025-09-03T19:59:20Z) - DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。
我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。
このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
論文 参考訳（メタデータ） (2024-10-10T17:56:44Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Neural Light Field Estimation for Street Scenes with Differentiable
Virtual Object Insertion [129.52943959497665]
既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。
単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。
自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
論文 参考訳（メタデータ） (2022-08-19T17:59:16Z) - Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments [56.306567220448684]
本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
論文 参考訳（メタデータ） (2021-12-07T15:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。