論文の概要: SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2304.06914v1
• Date: Fri, 14 Apr 2023 03:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 14:41:50.245879
• Title: SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders
• Title（参考訳）: smae:saturation-aware masked autoencoderを用いたhdrデグホストのための少数ショット学習
• Authors: Qingsen Yan, Song Zhang, Weiye Chen, Hao Tang, Yu Zhu, Jinqiu Sun, Luc Van Gool, Yanning Zhang
• Abstract要約: そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。 以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。 実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 97.64072440883392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating a high-quality High Dynamic Range (HDR) image from dynamic scenes has recently been extensively studied by exploiting Deep Neural Networks (DNNs). Most DNNs-based methods require a large amount of training data with ground truth, requiring tedious and time-consuming work. Few-shot HDR imaging aims to generate satisfactory images with limited data. However, it is difficult for modern DNNs to avoid overfitting when trained on only a few images. In this work, we propose a novel semi-supervised approach to realize few-shot HDR imaging via two stages of training, called SSHDR. Unlikely previous methods, directly recovering content and removing ghosts simultaneously, which is hard to achieve optimum, we first generate content of saturated regions with a self-supervised mechanism and then address ghosts via an iterative semi-supervised learning framework. Concretely, considering that saturated regions can be regarded as masking Low Dynamic Range (LDR) input regions, we design a Saturated Mask AutoEncoder (SMAE) to learn a robust feature representation and reconstruct a non-saturated HDR image. We also propose an adaptive pseudo-label selection strategy to pick high-quality HDR pseudo-labels in the second stage to avoid the effect of mislabeled samples. Experiments demonstrate that SSHDR outperforms state-of-the-art methods quantitatively and qualitatively within and across different datasets, achieving appealing HDR visualization with few labeled samples.
• Abstract（参考訳）: 動的シーンから高品質なハイダイナミックレンジ(HDR)画像を生成する手法として,Deep Neural Networks (DNN) が最近広く研究されている。 ほとんどのDNNベースの手法は、大量のトレーニングデータと地上の真実を必要とする。 HDRイメージングは、限られたデータで満足な画像を生成することを目的としている。 しかし、現代のDNNでは、ほんの数枚の画像で訓練された場合、過度な適合を避けることは困難である。 そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付き手法を提案する。 従来の手法とは違い, 直接的にコンテンツを回収し, 同時にゴーストを除去する手法は, 最適化が難しいため, まず, 自己教師機構で飽和地域のコンテンツを生成し, 同時に, 半教師付き学習フレームワークを用いてゴーストに対処する。 具体的には、飽和領域を低ダイナミックレンジ(LDR)入力領域のマスキングと見なすことができることを考慮し、飽和マスクオートエンコーダ(SMAE)を設計し、ロバストな特徴表現を学習し、非飽和HDR画像の再構成を行う。 また,第2段階で高品質なHDR擬似ラベルを選択するための適応的な擬似ラベル選択手法を提案する。 実験により、SSHDRは、異なるデータセット内および異なるデータセット間で定量的に定性的に、最先端の手法よりも優れており、ほとんどラベル付きサンプルで魅力的なHDR視覚化を実現している。

関連論文リスト

• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
  そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。 鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。 実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-22T15:42:08Z)
• Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
  本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。 実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-03-23T10:22:03Z)
• HDR-cGAN: Single LDR to HDR Image Translation using Conditional GAN [24.299931323012757]
  低ダイナミックレンジ(LDR)カメラは、現実世界のシーンの広いダイナミックレンジを表現できない。 本研究では,HDR画像の再構成を行いながら,飽和領域の詳細を復元する深層学習手法を提案する。 本稿では,HDR-REALデータセットとHDR-SYNTHデータセットに対して,エンドツーエンドでトレーニングされた新しい条件付きGAN(cGAN)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-04T18:50:35Z)
• HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization [39.82945546614887]
  本研究では,空間動的エンコーダデコーダネットワークであるHDRUNetを用いて,単一画像HDR再構成のためのエンドツーエンドマッピングを学習する。 本手法は,定量的比較と視覚的品質において最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-05-27T12:12:34Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。