論文の概要: A Perceptually Optimized and Self-Calibrated Tone Mapping Operator
- arxiv url: http://arxiv.org/abs/2206.09146v3
- Date: Fri, 25 Aug 2023 10:48:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 18:24:03.450027
- Title: A Perceptually Optimized and Self-Calibrated Tone Mapping Operator
- Title(参考訳): 知覚的に最適化された自己校正トーンマッピング演算子
- Authors: Peibei Cao, Chenyang Le, Yuming Fang and Kede Ma
- Abstract要約: 我々は、自己校正され、知覚的に最適化された2段階のニューラルネットワークベースのTMOを開発する。
まず,HDR画像を正常化したラプラシアピラミッドに分解した。
ステージ2では、入力されたHDR画像を自己校正して最終LDR画像を算出する。
- 参考スコア(独自算出の注目度): 41.83376753140113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing popularity and accessibility of high dynamic range (HDR)
photography, tone mapping operators (TMOs) for dynamic range compression are
practically demanding. In this paper, we develop a two-stage neural
network-based TMO that is self-calibrated and perceptually optimized. In Stage
one, motivated by the physiology of the early stages of the human visual
system, we first decompose an HDR image into a normalized Laplacian pyramid. We
then use two lightweight deep neural networks (DNNs), taking the normalized
representation as input and estimating the Laplacian pyramid of the
corresponding LDR image. We optimize the tone mapping network by minimizing the
normalized Laplacian pyramid distance (NLPD), a perceptual metric aligning with
human judgments of tone-mapped image quality. In Stage two, the input HDR image
is self-calibrated to compute the final LDR image. We feed the same HDR image
but rescaled with different maximum luminances to the learned tone mapping
network, and generate a pseudo-multi-exposure image stack with different detail
visibility and color saturation. We then train another lightweight DNN to fuse
the LDR image stack into a desired LDR image by maximizing a variant of the
structural similarity index for multi-exposure image fusion (MEF-SSIM), which
has been proven perceptually relevant to fused image quality. The proposed
self-calibration mechanism through MEF enables our TMO to accept uncalibrated
HDR images, while being physiology-driven. Extensive experiments show that our
method produces images with consistently better visual quality. Additionally,
since our method builds upon three lightweight DNNs, it is among the fastest
local TMOs.
- Abstract(参考訳): 高ダイナミックレンジ(hdr)撮影の人気とアクセシビリティの増加に伴い、ダイナミックレンジ圧縮のためのトーンマッピングオペレータ(tmos)が事実上要求されている。
本稿では,自己校正および知覚的に最適化された2段階のニューラルネットワークベースのTMOを開発する。
第1段階では、人間の視覚系の初期段階の生理学に動機づけられ、まずhdr画像を正常化したラプラシアンピラミッドに分解する。
次に,2つの軽量深層ニューラルネットワーク(dnn)を用いて正規化表現を入力とし,対応するldr画像のラプラシアンピラミッドを推定する。
画像品質の人間の判断に適合する知覚距離である正規化ラプラシアピラミッド距離(NLPD)を最小化することにより、トーンマッピングネットワークを最適化する。
ステージ2では、入力されたHDR画像を自己校正して最終LDR画像を算出する。
我々は、同じHDRイメージを学習したトーンマッピングネットワークに異なる最大輝度で再スケールし、異なる詳細視認性と彩度の異なる擬似多重露光画像スタックを生成する。
次に,複数露光画像融合(MEF-SSIM)のための構造類似度指数の変種を最大化することにより,LDR画像スタックを所望のLDR画像に融合するように,別の軽量DNNを訓練する。
MEFを用いた自己校正機構により,生理駆動型で非校正HDR画像の受信が可能となった。
広範に実験した結果,本手法は一貫して良好な視覚品質を持つ画像を生成することがわかった。
さらに,本手法は3つの軽量DNN上に構築されているため,最も高速なローカルTMOの1つである。
関連論文リスト
- NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked
Autoencoders [97.64072440883392]
そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。
以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。
実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-04-14T03:42:51Z) - RED-PSM: Regularization by Denoising of Factorized Low Rank Models for Dynamic Imaging [6.527016551650136]
ダイナミックトモグラフィーでは、1つのビュー角で1つのプロジェクションのみを同時に利用することができる。
本稿では,この課題に対処する2つの強力な手法を組み合わせたRED-PSMを提案する。
論文 参考訳(メタデータ) (2023-04-07T05:29:59Z) - Decoding natural image stimuli from fMRI data with a surface-based
convolutional network [1.8352113484137629]
本研究では,視覚刺激の復号化のための新しい手法を提案する。
提案手法は, 基礎トラス刺激と良好な微細な類似性を保ちながら, 最先端のセマンティック忠実度を実現する。
論文 参考訳(メタデータ) (2022-12-05T16:47:19Z) - Perceptually Optimized Deep High-Dynamic-Range Image Tone Mapping [44.00069411131762]
まず、HDR画像を正規化されたラプラシアンピラミッドに分解し、2つのディープニューラルネットワーク(DNN)を用いて、所望のトーンマップ画像のラプラシアンピラミッドを正規化された表現から推定する。
次に、正規化ラプラシアピラミッド距離を最小化することにより、HDR画像のデータベース上での手法全体をエンドツーエンドで最適化する。
論文 参考訳(メタデータ) (2021-09-01T04:17:31Z) - Adaptive Gradient Balancing for UndersampledMRI Reconstruction and
Image-to-Image Translation [60.663499381212425]
本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。
MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
論文 参考訳(メタデータ) (2021-04-05T13:05:22Z) - Deep Parallel MRI Reconstruction Network Without Coil Sensitivities [4.559089047554929]
並列MRI(pMRI)における高速画像再構成のための頑健な近位勾配スキームをデータからトレーニングした正規化関数にマッピングすることにより,新しいディープニューラルネットワークアーキテクチャを提案する。
提案するネットワークは,不完全なpMRIデータからのマルチコイル画像と均一なコントラストとを適応的に組み合わせることを学び,非線形エンコーダに渡されて画像のスパース特徴を効率的に抽出する。
論文 参考訳(メタデータ) (2020-08-04T08:39:36Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。