論文の概要: Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning
- arxiv url: http://arxiv.org/abs/2303.07327v1
- Date: Mon, 13 Mar 2023 17:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 13:39:06.431076
- Title: Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning
- Title（参考訳）: コントラスト学習による教師なしHDR画像とビデオトーンマッピング
- Authors: Cong Cao, Huanjing Yue, Xin Liu, Jingyu Yang
- Abstract要約: 教師なし画像とビデオトーンマッピングのための統合フレームワーク(IVTMNet)を提案する。
ビデオトーンマッピングでは,時間的相関を効率的に活用するための時間的特徴置換(TFR)モジュールを提案する。
実験結果から,本手法は最先端画像やビデオトーンマッピング法よりも優れていた。
- 参考スコア（独自算出の注目度）: 19.346284003982035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Capturing high dynamic range (HDR) images (videos) is attractive because it
can reveal the details in both dark and bright regions. Since the mainstream
screens only support low dynamic range (LDR) content, tone mapping algorithm is
required to compress the dynamic range of HDR images (videos). Although image
tone mapping has been widely explored, video tone mapping is lagging behind,
especially for the deep-learning-based methods, due to the lack of HDR-LDR
video pairs. In this work, we propose a unified framework (IVTMNet) for
unsupervised image and video tone mapping. To improve unsupervised training, we
propose domain and instance based contrastive learning loss. Instead of using a
universal feature extractor, such as VGG to extract the features for similarity
measurement, we propose a novel latent code, which is an aggregation of the
brightness and contrast of extracted features, to measure the similarity of
different pairs. We totally construct two negative pairs and three positive
pairs to constrain the latent codes of tone mapped results. For video tone
mapping, we propose a temporal-feature-replaced (TFR) module to efficiently
utilize the temporal correlation and improve the temporal consistency of video
tone-mapped results. We construct a large-scale unpaired HDR-LDR video dataset
to facilitate the unsupervised training process for video tone mapping.
Experimental results demonstrate that our method outperforms state-of-the-art
image and video tone mapping methods. Our code and dataset will be released
after the acceptance of this work.
- Abstract（参考訳）: 高ダイナミックレンジ(hdr)画像(ビデオ)の撮影は、暗い領域と明るい領域の両方で詳細を明らかにすることができるため、魅力的である。
主流画面は低ダイナミックレンジ(LDR)コンテンツしかサポートしていないため、HDR画像(ビデオ)のダイナミックレンジを圧縮するためにトーンマッピングアルゴリズムが必要である。
画像トーンマッピングは広く研究されているが、HDR-LDRビデオペアが不足しているため、特にディープラーニングベースの手法ではビデオトーンマッピングが遅れている。
本研究では,教師なし画像とビデオトーンマッピングのための統合フレームワーク(IVTMNet)を提案する。
教師なし学習を改善するために,ドメインとインスタンスに基づくコントラスト学習損失を提案する。
類似度測定のための特徴を抽出するためにvggのような普遍的特徴抽出器を使う代わりに、抽出された特徴の輝度とコントラストの集約である新しい潜在コードを提案し、異なる対の類似度を測定する。
2つの負のペアと3つの正のペアを完全に構築し、トーンマップ結果の潜在コードを制限する。
ビデオトーンマッピングでは,時間的相関を効率的に活用し,映像トーンマップ結果の時間的一貫性を向上させるtfrモジュールを提案する。
我々は、ビデオトーンマッピングのための教師なしトレーニングプロセスを容易にするために、大規模な未ペアHDR-LDRビデオデータセットを構築した。
実験の結果,本手法は最先端画像と映像トーンマッピング法を上回った。
私たちのコードとデータセットは、この作業が受け入れられてからリリースされます。
関連論文リスト
- Semantic Aware Diffusion Inverse Tone Mapping [5.65968650127342]
逆トーンマッピングによる高ダイナミックレンジ(HDR)へのキャプチャー標準ダイナミックレンジ(SDR)画像のアップの試み
本稿では,SDR画像をHDRにマッピングする新たな逆トーンマッピング手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T11:44:22Z) - Joint tone mapping and denoising of thermal infrared images via
multi-scale Retinex and multi-task learning [6.469120003158514]
16bppの熱赤外画像のトーンマッピングアルゴリズムについて検討した。
最適化されたマルチスケールRetinexアルゴリズムは、人気のあるU-Netアーキテクチャに基づくディープラーニングアプローチで近似される。
トーンマッピング後の画像の残音は、自己教師付きディープラーニングアプローチを用いて暗黙的に低減される。
論文 参考訳（メタデータ） (2023-05-01T07:14:32Z) - Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。
我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。
私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
論文 参考訳（メタデータ） (2023-04-20T04:05:22Z) - Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild [159.71025525493354]
本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
論文 参考訳（メタデータ） (2022-03-20T20:13:59Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳（メタデータ） (2021-12-01T19:49:57Z) - Invertible Tone Mapping with Selectable Styles [19.03179521805971]
本稿では,マルチ露光HDRを真のLDRに変換する可逆トーンマッピング法を提案する。
我々の可逆LDRは、ユーザが選択したトーンマッピングスタイルの外観を模倣することができる。
アップロードされた画像を再エンコードしたり、フォーマット変換したりできる既存のソーシャルネットワークプラットフォーム上で共有することができる。
論文 参考訳（メタデータ） (2021-10-09T07:32:36Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳（メタデータ） (2021-07-22T03:10:51Z) - End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。
我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。
本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:10Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳（メタデータ） (2021-05-24T17:34:57Z) - HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset [30.249052175655606]
HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
論文 参考訳（メタデータ） (2021-03-27T16:40:05Z) - Deep Reformulated Laplacian Tone Mapping [6.078183247169192]
広ダイナミックレンジ(WDR)画像は、一般的な画像と比較して、シーンの詳細とコントラストがより多く含まれている。
WDR画像の詳細は、トーンマッピングプロセス中に減少する可能性がある。
本研究では,新しいラプラシアンピラミッドと深層学習を組み合わせることで,この問題に対処する。
論文 参考訳（メタデータ） (2021-01-31T01:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。