論文の概要: Towards Efficient SDRTV-to-HDRTV by Learning from Image Formation
- arxiv url: http://arxiv.org/abs/2309.04084v1
- Date: Fri, 8 Sep 2023 02:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 16:15:05.811393
- Title: Towards Efficient SDRTV-to-HDRTV by Learning from Image Formation
- Title(参考訳): 画像形成から学ぶSDRTV-to-HDRTV
- Authors: Xiangyu Chen, Zheyuan Li, Zhengwen Zhang, Jimmy S. Ren, Yihao Liu,
Jingwen He, Yu Qiao, Jiantao Zhou, Chao Dong
- Abstract要約: モダンディスプレイは、高ダイナミックレンジ(WCG)と広色域(SDR)で映像コンテンツをレンダリングすることができる
利用可能なリソースの大部分は、まだ標準動的範囲(SDR)にある。
我々は、SDRTV/TVコンテンツの形成をモデル化し、SDRTV-to-TVタスクを定義し、分析する。
本手法は主に超高精細テレビコンテンツ向けに設計されており、4K解像度画像の処理に有効で軽量である。
- 参考スコア(独自算出の注目度): 51.26219245226384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern displays are capable of rendering video content with high dynamic
range (HDR) and wide color gamut (WCG). However, the majority of available
resources are still in standard dynamic range (SDR). As a result, there is
significant value in transforming existing SDR content into the HDRTV standard.
In this paper, we define and analyze the SDRTV-to-HDRTV task by modeling the
formation of SDRTV/HDRTV content. Our analysis and observations indicate that a
naive end-to-end supervised training pipeline suffers from severe gamut
transition errors. To address this issue, we propose a novel three-step
solution pipeline called HDRTVNet++, which includes adaptive global color
mapping, local enhancement, and highlight refinement. The adaptive global color
mapping step uses global statistics as guidance to perform image-adaptive color
mapping. A local enhancement network is then deployed to enhance local details.
Finally, we combine the two sub-networks above as a generator and achieve
highlight consistency through GAN-based joint training. Our method is primarily
designed for ultra-high-definition TV content and is therefore effective and
lightweight for processing 4K resolution images. We also construct a dataset
using HDR videos in the HDR10 standard, named HDRTV1K that contains 1235 and
117 training images and 117 testing images, all in 4K resolution. Besides, we
select five metrics to evaluate the results of SDRTV-to-HDRTV algorithms. Our
final results demonstrate state-of-the-art performance both quantitatively and
visually. The code, model and dataset are available at
https://github.com/xiaom233/HDRTVNet-plus.
- Abstract(参考訳): 現代のディスプレイは、ハイダイナミックレンジ(HDR)とワイドカラーガム(WCG)で映像コンテンツをレンダリングすることができる。
しかし、利用可能なリソースの大部分は、まだ標準動的範囲(SDR)にある。
その結果、既存のSDRコンテンツをHDRTV標準に変換することには大きな価値がある。
本稿では、SDRTV/HDRTVコンテンツの形成をモデル化し、SDRTV-to-HDRTVタスクを定義し、分析する。
分析と観察により, 極端から終末の教師付きトレーニングパイプラインは, 重度のガムム遷移エラーに悩まされていることが明らかとなった。
この問題に対処するために,適応的なグローバルカラーマッピング,局所的な拡張,ハイライト補正を含む,hdrtvnet++と呼ばれる新しい3段階のソリューションパイプラインを提案する。
適応的グローバルカラーマッピングステップは、画像適応カラーマッピングを実行するためのガイダンスとしてグローバル統計を使用する。
次にローカルエンハンスメントネットワークがデプロイされ、ローカル詳細が強化される。
最後に、上記の2つのサブネットワークをジェネレータとして組み合わせ、GANベースのジョイントトレーニングを通じてハイライト一貫性を実現する。
本手法は主に超高精細テレビコンテンツ向けに設計されており、4K解像度画像の処理に有効で軽量である。
また、HDRTV1Kという名前のHDR10標準で、1235と117のトレーニング画像と117のテスト画像を含むデータセットを、すべて4K解像度で構築する。
さらに,SDRTV-to-HDRTVアルゴリズムの結果を評価するために5つの指標を選択した。
最終結果は,定量的かつ視覚的に,最先端の性能を示すものである。
コード、モデル、データセットはhttps://github.com/xiaom233/HDRTVNet-plusで入手できる。
関連論文リスト
- Training Neural Networks on RAW and HDR Images for Restoration Tasks [59.41340420564656]
本研究は,3つの画像復元アプリケーション(デノイング,デブロアリング,シングルイメージ超解像)に対するアプローチを検証した。
その結果、ニューラルネットワークは、表示色空間で表現されるHDRおよびRAW画像において、かなりよく訓練されていることが示唆された。
トレーニング戦略へのこの小さな変更は、最大10~15dBのパフォーマンスを大幅に向上させることができます。
論文 参考訳(メタデータ) (2023-12-06T17:47:16Z) - HIDRO-VQA: High Dynamic Range Oracle for Video Quality Assessment [36.1179702443845]
HIDRO-VQAは,ハイダイナミックレンジ(ハイダイナミックレンジ)ビデオの正確な品質評価を提供するために設計された,NRビデオ品質評価モデルである。
この結果から, 自己教師型ニューラルネットワークは, 最先端の性能を達成するために, 自己教師型設定でさらに微調整できることがわかった。
我々のアルゴリズムはFull Reference VQA設定に拡張することができ、また最先端の性能を達成することができる。
論文 参考訳(メタデータ) (2023-11-18T12:33:19Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB
Domains [23.309488653045026]
高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。
同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。
本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
論文 参考訳(メタデータ) (2023-04-10T11:59:03Z) - Learning a Practical SDR-to-HDRTV Up-conversion using New Dataset and
Degradation Models [4.0336006284433665]
メディア業界では、HDR-WCG(ハイダイナミックレンジワイドカラーガム)を使用すると、SDR-TVアップコンバージョンが要求される。
現在の手法では、薄暗く不飽和な結果をもたらす傾向があり、視聴体験をほとんど改善しない。
我々は,新しいHDRTVデータセット(HDRTV4K)と新しいHDR-to-SDRモデルを提案する。
論文 参考訳(メタデータ) (2023-03-23T04:40:33Z) - A New Journey from SDRTV to HDRTV [36.58487005995048]
我々は、SDRTV/TVコンテンツの形成をモデル化して、SDRTV-to-TVタスクの分析を行う。
画像適応カラーマッピングを行うためのガイダンスとして,グローバル統計を利用した軽量ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-18T05:17:08Z) - MetaHDR: Model-Agnostic Meta-Learning for HDR Image Reconstruction [0.0]
低ダイナミックレンジ画像を高ダイナミックレンジ画像に変換する既存のアプローチは、すべての変換が同じ非線形マッピングによって管理されるという仮定によって制限される。
既存のHDRデータセットを用いたLDR-to-Model変換問題にメタラーニングを適用したHDR-Agnostic Image Reconstruction (Meta)を提案する。
論文 参考訳(メタデータ) (2021-03-20T07:56:45Z) - AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and
Results [96.74919503142014]
本稿では,ECCV 2020におけるAIM 2020ワークショップに関連する超高解像度映像についてレビューする。
トラック1は、PSNRとSSIMによって基底真理への忠実度を測定するような要求されたタスクの最先端度を測定するために設定される。
トラック2は、人間の知覚に応じてランク付けされた視覚的に満足な結果を生成することを目的としており、ユーザスタディによって評価されている。
論文 参考訳(メタデータ) (2020-09-14T09:36:25Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。