論文の概要: Event Camera Demosaicing via Swin Transformer and Pixel-focus Loss

• arxiv url: http://arxiv.org/abs/2404.02731v1
• Date: Wed, 3 Apr 2024 13:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:21:13.376862
• Title: Event Camera Demosaicing via Swin Transformer and Pixel-focus Loss
• Title（参考訳）: スイニングトランスとPixel-focus損失によるイベントカメラのデモ
• Authors: Yunfan Lu, Yijie Xu, Wenzong Ma, Weiyu Guo, Hui Xiong,
• Abstract要約: RAW領域処理における画素値の欠落を解消するための,Swin-Transformerベースのバックボーンと画素焦点損失関数を提案する。 提案手法は,マルチスケール処理とスペース・ツー・ディープス技術を利用して,効率の確保と計算複雑性の低減を図る。
• 参考スコア（独自算出の注目度）: 17.422153237516767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has highlighted improvements in high-quality imaging guided by event cameras, with most of these efforts concentrating on the RGB domain. However, these advancements frequently neglect the unique challenges introduced by the inherent flaws in the sensor design of event cameras in the RAW domain. Specifically, this sensor design results in the partial loss of pixel values, posing new challenges for RAW domain processes like demosaicing. The challenge intensifies as most research in the RAW domain is based on the premise that each pixel contains a value, making the straightforward adaptation of these methods to event camera demosaicing problematic. To end this, we present a Swin-Transformer-based backbone and a pixel-focus loss function for demosaicing with missing pixel values in RAW domain processing. Our core motivation is to refine a general and widely applicable foundational model from the RGB domain for RAW domain processing, thereby broadening the model's applicability within the entire imaging process. Our method harnesses multi-scale processing and space-to-depth techniques to ensure efficiency and reduce computing complexity. We also proposed the Pixel-focus Loss function for network fine-tuning to improve network convergence based on our discovery of a long-tailed distribution in training loss. Our method has undergone validation on the MIPI Demosaic Challenge dataset, with subsequent analytical experimentation confirming its efficacy. All code and trained models are released here: https://github.com/yunfanLu/ev-demosaic
• Abstract（参考訳）: 近年の研究では、RGB領域に集中したイベントカメラによる高品質イメージングの改善が注目されている。 しかしながら、これらの進歩は、RAWドメインにおけるイベントカメラのセンサー設計の固有の欠陥によって引き起こされる固有の課題をしばしば無視する。 具体的には、このセンサ設計により画素値が部分的に失われ、分解などのRAWドメインプロセスに新たな課題が生じる。 RAW領域のほとんどの研究は、各ピクセルが値を含むという前提に基づいており、これらの手法をイベントカメラに簡単に適応させることが問題となる。 そこで本研究では,RAW領域処理における画素値の欠落を解消するための,Swin-Transformerベースのバックボーンと画素焦点損失関数を提案する。 我々のコアモチベーションは、RAWドメイン処理のためのRGBドメインから、汎用的で広く適用可能な基礎モデルを洗練し、画像全体の適用性を拡大することである。 提案手法は,マルチスケール処理とスペース・ツー・ディープス技術を利用して,効率の確保と計算複雑性の低減を図る。 また、ネットワーク微細チューニングのためのPixel-focus Loss関数を提案し、トレーニング損失の長期分布の発見に基づいて、ネットワーク収束を改善する。 提案手法はMIPIデモザイクチャレンジデータセット上で検証を行い,その有効性を確認した。 すべてのコードとトレーニングされたモデルはここでリリースされている。

関連論文リスト

• Toward Efficient Deep Blind RAW Image Restoration [56.41827271721955]
  我々は、深部ブラインドRAW復元モデルをトレーニングするための、新しい現実的な劣化パイプラインを設計する。 私たちのパイプラインでは、リアルなセンサーノイズ、動きのぼかし、カメラの揺れ、その他の一般的な劣化について検討しています。 パイプラインと複数のセンサーのデータで訓練されたモデルは、ノイズとぼやけをうまく低減し、異なるカメラから撮影されたRAW画像の細部を復元する。
  論文  参考訳（メタデータ） (2024-09-26T18:34:37Z)
• Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
  低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。 RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。 また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
  論文  参考訳（メタデータ） (2024-09-11T06:12:03Z)
• DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera [70.28702677370879]
  Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。 その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。 粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
  論文  参考訳（メタデータ） (2024-06-12T07:20:46Z)
• BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
  RAW領域におけるブラインド画像の超解像化に取り組む。 生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。 私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
  論文  参考訳（メタデータ） (2023-12-24T14:17:28Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Overexposure Mask Fusion: Generalizable Reverse ISP Multi-Step Refinement [10.186389326668305]
  本稿では,RAW再建の課題に対する最先端の解決策を提案する。 RGBからベイザーに代えて、パイプラインはRGBからRAWに格下げされ、知覚的損失関数が使えるようになった。
  論文  参考訳（メタデータ） (2022-10-20T18:21:41Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network [23.451063587138393]
  RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。 提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。 定量的および定性的な実験において提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。