論文の概要: Multi-modal Bifurcated Network for Depth Guided Image Relighting
- arxiv url: http://arxiv.org/abs/2105.00690v2
- Date: Wed, 5 May 2021 02:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 13:01:24.329434
- Title: Multi-modal Bifurcated Network for Depth Guided Image Relighting
- Title（参考訳）: 奥行き誘導画像リライトのためのマルチモーダル分岐ネットワーク
- Authors: Hao-Hsiang Yang and Wei-Ting Chen and Hao-Lun Luo and Sy-Yen Kuo
- Abstract要約: 本論文では,深度ガイド画像リライトのためのマルチモーダルバイフラクテッドネットワーク(MBNet)を用いた深層学習手法を提案する。
このモデルは、エンコーダ内の分岐ネットワークによる画像と深度の特徴を抽出する。
VIDITデータセットを用いて行った実験により,提案手法はSSIMとPMSの点からtextbf1$st$ place を得ることができた。
- 参考スコア（独自算出の注目度）: 13.857410735989301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image relighting aims to recalibrate the illumination setting in an image. In
this paper, we propose a deep learning-based method called multi-modal
bifurcated network (MBNet) for depth guided image relighting. That is, given an
image and the corresponding depth maps, a new image with the given illuminant
angle and color temperature is generated by our network. This model extracts
the image and the depth features by the bifurcated network in the encoder. To
use the two features effectively, we adopt the dynamic dilated pyramid modules
in the decoder. Moreover, to increase the variety of training data, we propose
a novel data process pipeline to increase the number of the training data.
Experiments conducted on the VIDIT dataset show that the proposed solution
obtains the \textbf{1}$^{st}$ place in terms of SSIM and PMS in the NTIRE 2021
Depth Guide One-to-one Relighting Challenge.
- Abstract（参考訳）: 画像照明は、画像内の照明設定を再調整することを目的としている。
本稿では,マルチモーダルバイファーケートネットワーク(mbnet)と呼ばれる,深度誘導画像のリライトのための深層学習に基づく手法を提案する。
すなわち、画像と対応する深度マップが与えられた場合、所定の輝度角と色温度を持つ新しい画像がネットワークによって生成される。
このモデルは、エンコーダ内の分岐ネットワークによる画像と深度の特徴を抽出する。
この2つの特徴を効果的に利用するために,デコーダの動的拡張ピラミッドモジュールを採用する。
さらに,トレーニングデータの種類を増やすために,トレーニングデータ数を増やすための新しいデータ処理パイプラインを提案する。
VIDITデータセットを用いて行った実験の結果,提案手法は NTIRE 2021 Depth Guide One-to-one Relighting Challenge において,SSIM と PMS の点において \textbf{1}$^{st}$ place が得られることがわかった。
関連論文リスト
- Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳（メタデータ） (2024-08-26T04:56:41Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-10T07:53:06Z) - PromptMix: Text-to-image diffusion models enhance the performance of
lightweight networks [83.08625720856445]
ディープラーニングタスクは、人間のオペレーターに時間がかかりすぎるアノテーションを必要とする。
本稿では,既存のデータセットのサイズを人工的に向上するPromptMixを紹介する。
PromptMixは軽量ネットワークの性能を最大26%向上させることができることを示す。
論文 参考訳（メタデータ） (2023-01-30T14:15:47Z) - Single Plane-Wave Imaging using Physics-Based Deep Learning [2.1410799064827226]
平面波イメージングでは、異なる角度から複数の非焦点超音波が媒介される。
超音波イメージングを改善するための深層学習法が提案されている。
本稿では、深部畳み込みニューラルネットワークにおける波動物理に基づく画像形成アルゴリズムを組み込んだデータ・ツー・イメージアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-08T14:06:29Z) - RigNet: Repetitive Image Guided Network for Depth Completion [20.66405067066299]
近年のアプローチは、高密度な結果を予測するためのイメージガイド学習に重点を置いている。
ぼやけたイメージガイダンスとオブジェクト構造は、まだイメージガイドされたフレームワークのパフォーマンスを妨げている。
画像案内ネットワークにおける反復的な設計を探索し,徐々に深度値の回復を図る。
提案手法は,NYUv2データセットの最先端化を実現し,提出時のKITTIベンチマークで1位にランクインする。
論文 参考訳（メタデータ） (2021-07-29T08:00:33Z) - S3Net: A Single Stream Structure for Depth Guided Image Relighting [13.201978111555817]
本稿では,深層学習に基づくS3Netを用いた深度誘導画像リライトのためのニューラルネットワークを提案する。
NTIRE 2021 Depth Guided Any-to-any Relighting Challengeでは,提案モデルが3番目に高いSSIMを達成した。
論文 参考訳（メタデータ） (2021-05-03T08:33:53Z) - Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。
カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。
LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文 参考訳（メタデータ） (2021-03-19T04:00:27Z) - Dual Pixel Exploration: Simultaneous Depth Estimation and Image
Restoration [77.1056200937214]
本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。
本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
論文 参考訳（メタデータ） (2020-12-01T06:53:57Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳（メタデータ） (2020-08-25T06:00:06Z) - Learning light field synthesis with Multi-Plane Images: scene encoding
as a recurrent segmentation task [30.058283056074426]
本稿では、入力ビューのスパースセットを多面画像(MPI)に変換することで、大規模なベースライン光場からのビュー合成の問題に対処する。
利用可能なデータセットは少ないため、広範なトレーニングを必要としない軽量ネットワークを提案する。
我々のモデルは、RGB層を推定することを学ぶのではなく、MPIアルファ層内のシーン幾何学を符号化するだけであり、それはセグメンテーションタスクに帰着する。
論文 参考訳（メタデータ） (2020-02-12T14:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。