論文の概要: Towards Real World HDRTV Reconstruction: A Data Synthesis-based Approach

• arxiv url: http://arxiv.org/abs/2211.03058v1
• Date: Sun, 6 Nov 2022 08:27:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 18:23:24.112916
• Title: Towards Real World HDRTV Reconstruction: A Data Synthesis-based Approach
• Title（参考訳）: 実世界のHDRTV再構築に向けて:データ合成に基づくアプローチ
• Authors: Zhen Cheng, Tao Wang, Yong Li, Fenglong Song, Chang Chen, Zhiwei Xiong
• Abstract要約: 既存のディープラーニングに基づくHDRTV再構成手法は、教師あり訓練のためのSDRTV-TVペアを合成する手法として、ある種類のトーンマッピング演算子(TMO)を仮定する。 本稿では,従来のTMOが効率のよいダイナミックレンジ圧縮の先駆的手法であるにもかかわらず,劣化情報の保存過剰,色偏差,可能アーティファクトのモデル化にいくつかの欠点があることを論じる。 ネットワーク構造と損失関数の両方に複数のトーンマッピングを組み込むことで,実世界のSDRTVの特性を学習する学習ベースデータ合成手法を提案する。
• 参考スコア（独自算出の注目度）: 48.1492764654516
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing deep learning based HDRTV reconstruction methods assume one kind of tone mapping operators (TMOs) as the degradation procedure to synthesize SDRTV-HDRTV pairs for supervised training. In this paper, we argue that, although traditional TMOs exploit efficient dynamic range compression priors, they have several drawbacks on modeling the realistic degradation: information over-preservation, color bias and possible artifacts, making the trained reconstruction networks hard to generalize well to real-world cases. To solve this problem, we propose a learning-based data synthesis approach to learn the properties of real-world SDRTVs by integrating several tone mapping priors into both network structures and loss functions. In specific, we design a conditioned two-stream network with prior tone mapping results as a guidance to synthesize SDRTVs by both global and local transformations. To train the data synthesis network, we form a novel self-supervised content loss to constraint different aspects of the synthesized SDRTVs at regions with different brightness distributions and an adversarial loss to emphasize the details to be more realistic. To validate the effectiveness of our approach, we synthesize SDRTV-HDRTV pairs with our method and use them to train several HDRTV reconstruction networks. Then we collect two inference datasets containing both labeled and unlabeled real-world SDRTVs, respectively. Experimental results demonstrate that, the networks trained with our synthesized data generalize significantly better to these two real-world datasets than existing solutions.
• Abstract（参考訳）: 既存のディープラーニングに基づくHDRTV再構成手法は、教師あり訓練のためにSDRTV-HDRTVペアを合成する分解過程として、ある種類のトーンマッピング演算子(TMO)を仮定する。 本稿では,従来のTMOが効率的なダイナミックレンジ圧縮を生かしているが,情報保存やカラーバイアス,可能アーティファクトといった現実的な劣化をモデル化する上で,いくつかの欠点があることを論じる。 この問題を解決するために,ネットワーク構造と損失関数の両方に複数のトーンマッピングを組み込むことで,実世界のSDRTVの特性を学習ベースで学習する手法を提案する。 具体的には,SDRTVをグローバル変換とローカル変換の両方で合成するためのガイダンスとして,事前トーンマッピング結果を用いた条件付き2ストリームネットワークを設計する。 データ合成ネットワークを訓練するために, 輝度分布の異なる領域における合成sdrtvの異なる局面を制約し, 詳細をより現実的なものにするために, 新たな自己教師付きコンテンツ損失を形成する。 提案手法の有効性を検証するため,本手法を用いてSDRTV-HDRTVペアを合成し,複数のHDRTV再構成ネットワークを訓練する。 次に,ラベル付きSDRTVとラベルなしSDRTVの両方を含む2つの推論データセットを収集する。 実験結果から,本合成データを用いて学習したネットワークは,既存のソリューションよりも,これら2つの実世界のデータセットに対してはるかに優れていることがわかった。

関連論文リスト

• Beyond Feature Mapping GAP: Integrating Real HDRTV Priors for Superior SDRTV-to-HDRTV Conversion [22.78096367667505]
  HDR-WCGディスプレイデバイスの普及は、SDRTVをHDRTVに変換する必要性を強調している。 既存の手法は主に、SDRTVからHDRTVへの単一スタイルマッピングを学ぶニューラルネットワークの設計に焦点を当てている。 本稿では,実際のHDRTVプリエントによって誘導されるHDRTV変換に対するSDRTVの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T11:20:29Z)
• Towards Realistic Data Generation for Real-World Super-Resolution [58.88039242455039]
  RealDGenは、現実世界の超解像のために設計された教師なし学習データ生成フレームワークである。 我々は,コンテンツ分解脱結合拡散モデルに統合されたコンテンツと劣化抽出戦略を開発する。 実験により、RealDGenは、現実世界の劣化を反映する大規模で高品質なペアデータを生成するのに優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-11T13:34:57Z)
• DeblurDiNAT: A Generalizable Transformer for Perceptual Image Deblurring [1.5124439914522694]
  DeblurDiNATは汎用的で効率的なエンコーダ・デコーダ変換器であり、地上の真実に近いクリーンな画像を復元する。 本稿では,線形フィードフォワードネットワークと非線形デュアルステージ機能融合モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-19T21:31:31Z)
• Expanding Synthetic Real-World Degradations for Blind Video Super Resolution [3.474523163017713]
  ビデオ超解像(VSR)技術はここ数年で大幅に改善され、合成データに顕著な性能を示した。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不整合のビデオフレームの複雑さに悩まされている。 本稿では,合成学習データセットにおける実世界の劣化について述べる。
  論文  参考訳（メタデータ） (2023-05-04T08:58:31Z)
• Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution [65.20905703823965]
  ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
  論文  参考訳（メタデータ） (2022-12-10T17:41:46Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• The Best of Both Worlds: a Framework for Combining Degradation Prediction with High Performance Super-Resolution Networks [14.804000317612305]
  本稿では,ブラインドSR予測機構とディープSRネットワークを組み合わせるためのフレームワークを提案する。 我々は、我々のハイブリッドモデルが、非盲目モデルと盲目モデルの両方よりも強いSR性能を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2022-11-09T16:49:35Z)
• Transformer-based SAR Image Despeckling [53.99620005035804]
  本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。 提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。 実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
  論文  参考訳（メタデータ） (2022-01-23T20:09:01Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data [17.529045507657944]
  我々は、強力なESRGANを実用的修復アプリケーション(Real-ESRGAN)に拡張する。 複雑な実世界の劣化をシミュレートするために、高次劣化モデリングプロセスを導入する。 また、合成プロセスにおける共通リングやオーバーシュートアーティファクトについても検討する。
  論文  参考訳（メタデータ） (2021-07-22T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。