論文の概要: S3Net: A Single Stream Structure for Depth Guided Image Relighting

• arxiv url: http://arxiv.org/abs/2105.00681v2
• Date: Wed, 5 May 2021 02:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 13:01:38.148644
• Title: S3Net: A Single Stream Structure for Depth Guided Image Relighting
• Title（参考訳）: s3net: 深度誘導画像リライトのための単一ストリーム構造
• Authors: Hao-Hsiang Yang and Wei-Ting Chen and and Sy-Yen Kuo
• Abstract要約: 本稿では,深層学習に基づくS3Netを用いた深度誘導画像リライトのためのニューラルネットワークを提案する。 NTIRE 2021 Depth Guided Any-to-any Relighting Challengeでは,提案モデルが3番目に高いSSIMを達成した。
• 参考スコア（独自算出の注目度）: 13.201978111555817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth guided any-to-any image relighting aims to generate a relit image from the original image and corresponding depth maps to match the illumination setting of the given guided image and its depth map. To the best of our knowledge, this task is a new challenge that has not been addressed in the previous literature. To address this issue, we propose a deep learning-based neural Single Stream Structure network called S3Net for depth guided image relighting. This network is an encoder-decoder model. We concatenate all images and corresponding depth maps as the input and feed them into the model. The decoder part contains the attention module and the enhanced module to focus on the relighting-related regions in the guided images. Experiments performed on challenging benchmark show that the proposed model achieves the 3 rd highest SSIM in the NTIRE 2021 Depth Guided Any-to-any Relighting Challenge.
• Abstract（参考訳）: depth guided any-to-any image relightingは、与えられたガイド画像とその深度マップの照明設定に合うように、元の画像と対応する深度マップからリライト画像を生成することを目的としている。 私たちの知る限りでは、このタスクは以前の文献では解決されていない新しい課題です。 この問題に対処するために,深層誘導画像リライトのための深層学習型ニューラルネットワークs3netを提案する。 このネットワークはエンコーダ-デコーダモデルである。 すべての画像と対応する深度マップを入力として結合し、それらをモデルに入力します。 デコーダ部は、注目モジュールと、ガイド画像中のリライト関連領域にフォーカスする強化モジュールとを含む。 NTIRE 2021 Depth Guided Any-to-any Relighting Challengeでは,提案モデルが3番目に高いSSIMを達成した。

関連論文リスト

• RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth Completion [31.70022495622075]
  画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。 前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。 後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。 さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
  論文  参考訳（メタデータ） (2023-09-01T09:11:20Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• SLIDE: Single Image 3D Photography with Soft Layering and Depth-aware Inpainting [54.419266357283966]
  シングルイメージの3D写真は、視聴者が新しい視点から静止画を見ることを可能にする。 最近のアプローチでは、単分子深度ネットワークと塗装ネットワークを組み合わせることで、説得力のある結果が得られる。 単一画像3D撮影のためのモジュール・統一システムであるSLIDEについて述べる。
  論文  参考訳（メタデータ） (2021-09-02T16:37:20Z)
• RigNet: Repetitive Image Guided Network for Depth Completion [20.66405067066299]
  近年のアプローチは、高密度な結果を予測するためのイメージガイド学習に重点を置いている。 ぼやけたイメージガイダンスとオブジェクト構造は、まだイメージガイドされたフレームワークのパフォーマンスを妨げている。 画像案内ネットワークにおける反復的な設計を探索し,徐々に深度値の回復を図る。 提案手法は,NYUv2データセットの最先端化を実現し,提出時のKITTIベンチマークで1位にランクインする。
  論文  参考訳（メタデータ） (2021-07-29T08:00:33Z)
• Multi-modal Bifurcated Network for Depth Guided Image Relighting [13.857410735989301]
  本論文では,深度ガイド画像リライトのためのマルチモーダルバイフラクテッドネットワーク(MBNet)を用いた深層学習手法を提案する。 このモデルは、エンコーダ内の分岐ネットワークによる画像と深度の特徴を抽出する。 VIDITデータセットを用いて行った実験により,提案手法はSSIMとPMSの点からtextbf1$st$ place を得ることができた。
  論文  参考訳（メタデータ） (2021-05-03T08:52:25Z)
• Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
  本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。 オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。 この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
  論文  参考訳（メタデータ） (2021-01-13T16:30:20Z)
• RGBD-Net: Predicting color and depth images for novel views synthesis [46.233701784858184]
  RGBD-Netは,対象のポーズの深度マップとカラーイメージをマルチスケールで予測するために提案される。 その結果、RGBD-Netは、これまで見つからなかったデータに対してよく一般化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-11-29T16:42:53Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• 3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image [42.13930269841654]
  我々のネットワークは、正確かつ軽量な3次元から2次元の粗大な二重密度化設計を提供する。 KITTIデータセットの実験は、我々のネットワークがより効率的でありながら最先端の精度を実現していることを示している。
  論文  参考訳（メタデータ） (2020-03-20T10:19:32Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。