Fugu-MT 論文翻訳(概要): SwitchLight: Co-design of Physics-driven Architecture and Pre-training Framework for Human Portrait Relighting

論文の概要: SwitchLight: Co-design of Physics-driven Architecture and Pre-training Framework for Human Portrait Relighting

arxiv url: http://arxiv.org/abs/2402.18848v1
Date: Thu, 29 Feb 2024 04:52:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-01 16:00:30.967257
Title: SwitchLight: Co-design of Physics-driven Architecture and Pre-training Framework for Human Portrait Relighting
Title（参考訳）: SwitchLight: 物理駆動型アーキテクチャの共設計と人体ポートレートリライトのための事前学習フレームワーク
Authors: Hoon Kim, Minje Jang, Wonjun Yoon, Jisoo Lee, Donghyun Na, Sanghyun Woo
Abstract要約: 物理誘導型アーキテクチャと事前学習フレームワークを組み合わせた人間の肖像画リライティングのための共同設計手法を提案する。我々は、光-表面相互作用を正確にシミュレートするアーキテクチャ設計を慎重に構成した。高品質なライトステージデータの制限を克服するため,我々は自己教師付き事前学習戦略を開発した。
参考スコア（独自算出の注目度）: 16.380306586309423
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce a co-designed approach for human portrait relighting that combines a physics-guided architecture with a pre-training framework. Drawing on the Cook-Torrance reflectance model, we have meticulously configured the architecture design to precisely simulate light-surface interactions. Furthermore, to overcome the limitation of scarce high-quality lightstage data, we have developed a self-supervised pre-training strategy. This novel combination of accurate physical modeling and expanded training dataset establishes a new benchmark in relighting realism.
Abstract（参考訳）: 物理誘導型アーキテクチャと事前学習フレームワークを組み合わせた人間の肖像画リライティングのための共同設計手法を提案する。我々はCook-Torrance反射率モデルに基づいて,光-表面相互作用を正確にシミュレートするアーキテクチャ設計を精巧に構成した。さらに,低品質光ステージデータの制限を克服するため,自己指導型事前学習戦略を開発した。正確な物理モデリングと拡張トレーニングデータセットを組み合わせたこの新しい組み合わせは、リライトリアリズムの新しいベンチマークを確立する。

関連論文リスト

RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
論文参考訳（メタデータ） (2024-10-08T17:40:01Z)
UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation [66.95976870627064]
We design a Unified Voxelization framework for explicit learning of scene representations, called UniVoxel。そこで本研究では,シーンの形状,材料,照明を軽量ニューラルネットワークで容易に学習できるため,シーンを潜在容積表現に符号化することを提案する。実験の結果、UniVoxelは他の方法と比較して最適化効率を著しく向上させ、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再現性を実現した。
論文参考訳（メタデータ） (2024-07-28T17:24:14Z)
Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文参考訳（メタデータ） (2022-12-09T07:33:49Z)
Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing [27.96634370355241]
本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
論文参考訳（メタデータ） (2022-11-06T03:34:26Z)
DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文参考訳（メタデータ） (2021-10-30T01:59:39Z)
Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文参考訳（メタデータ） (2021-04-01T14:13:28Z)
Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文参考訳（メタデータ） (2021-03-29T08:58:10Z)
Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement [58.72667941107544]
低照度画像のための軽量で効果的な拡張ネットワークを構築するために,Retinex-inspired Unrolling with Architecture Search (RUAS)を提案する。 RUASは、高速かつ少ない計算リソースで、最高性能の画像強化ネットワークを得ることができます。
論文参考訳（メタデータ） (2020-12-10T11:51:23Z)
A Generative Model for Generic Light Field Reconstruction [15.394019131959096]
可変オートエンコーダを用いた4次元光電場パッチ生成モデルを初めて提示する。我々は、光場の中心的な視点で条件付き生成モデルを開発し、これをエネルギー最小化フレームワークにプリミティブとして組み込む。提案手法は,エンド・ツー・エンドのトレーニングネットワークに接近する性能向上を実証する。
論文参考訳（メタデータ） (2020-05-13T18:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。