論文の概要: Joint Learning of Portrait Intrinsic Decomposition and Relighting
- arxiv url: http://arxiv.org/abs/2106.15305v1
- Date: Tue, 22 Jun 2021 19:40:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:47:10.663931
- Title: Joint Learning of Portrait Intrinsic Decomposition and Relighting
- Title（参考訳）: ポートレート内在的分解とリライトの連成学習
- Authors: Mona Zehni, Shaona Ghosh, Krishna Sridhar, Sethu Raman
- Abstract要約: 逆レンダリングは、イメージをその固有の構成要素、すなわちアルベド、正規および照明に分解する問題である。
そこで本研究では,分解作業の完全監督の必要性を低減させる,自己監督型学習パラダイムを提案する。
学習パラダイムが本質的な分解とリライティングの両方に与える影響を実証し、自己監督的損失項を使わずに、モデルがどのように両タスクで苦労しているかを実証する。
- 参考スコア（独自算出の注目度）: 5.601217969637838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inverse rendering is the problem of decomposing an image into its intrinsic
components, i.e. albedo, normal and lighting. To solve this ill-posed problem
from single image, state-of-the-art methods in shape from shading mostly resort
to supervised training on all the components on either synthetic or real
datasets. Here, we propose a new self-supervised training paradigm that 1)
reduces the need for full supervision on the decomposition task and 2) takes
into account the relighting task. We introduce new self-supervised loss terms
that leverage the consistencies between multi-lit images (images of the same
scene under different illuminations). Our approach is applicable to multi-lit
datasets. We apply our training approach in two settings: 1) train on a mixture
of synthetic and real data, 2) train on real datasets with limited supervision.
We show-case the effectiveness of our training paradigm on both intrinsic
decomposition and relighting and demonstrate how the model struggles in both
tasks without the self-supervised loss terms in limited supervision settings.
We provide results of comprehensive experiments on SfSNet, CelebA and Photoface
datasets and verify the performance of our approach on images in the wild.
- Abstract（参考訳）: 逆レンダリングは、イメージを固有のコンポーネントに分解する問題である。
アルベド、ノーマル、ライティング。
単一画像からこの不正な問題を解くために、シェーディングから形状の最先端の手法は、主に合成または実際のデータセット上のすべてのコンポーネントの教師付きトレーニングに頼っている。
本稿では, (1) 分解作業の完全な監督の必要性を低減し, 2) 再点灯作業を考慮した新しい自己監督訓練パラダイムを提案する。
マルチライト画像(異なる照明下での同一シーンのイメージ)の相違を利用した新たな自己監督的損失項を導入する。
このアプローチはマルチリットデータセットに適用できる。
1) 合成データと実データの組み合わせを訓練し, 2) 限られた監督条件で実データセットを訓練する。
学習パラダイムが内在的な分解とリライトの両方に有効であることを事例として示し,限定的な監督設定において,自己監督的損失条件を伴わずに両タスクにおいてモデルがいかに苦しむかを実証する。
sfsnet、celeba、photofaceデータセットに関する包括的な実験結果を提供し、野生画像に対する我々のアプローチの性能を検証する。
関連論文リスト
- Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture [0.7499722271664147]
単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。
そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。
提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。
論文 参考訳（メタデータ） (2024-09-27T14:15:02Z) - Exposure Bracketing Is All You Need For A High-Quality Image [50.822601495422916]
マルチ露光画像は、デノイング、デブロアリング、高ダイナミックレンジイメージング、超解像において相補的である。
本研究では,これらの課題を組み合わせ,高品質な画像を得るために露光ブラケット写真を活用することを提案する。
特に時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳（メタデータ） (2024-01-01T14:14:35Z) - Meta-Prior: Meta learning for Adaptive Inverse Problem Solvers [9.364509804053275]
現実のイメージングの課題は、しばしば真実のデータを欠いているため、従来の監督されたアプローチは効果がない。
本手法では,様々な画像処理タスクに対してメタモデルを訓練し,特定のタスクに対して効率的に微調整を行う。
簡単な設定で、このアプローチはベイズ最適推定器を復元し、我々のアプローチの健全性を示す。
論文 参考訳（メタデータ） (2023-11-30T17:02:27Z) - DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows [11.566896201650056]
我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。
我々は、1つのネットワークパスだけを必要とする単発リライトフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-19T08:03:20Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-01-10T03:12:52Z) - Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳（メタデータ） (2021-04-09T02:58:59Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2020-10-30T10:57:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。