Fugu-MT 論文翻訳(概要): DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera

論文の概要: DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera

arxiv url: http://arxiv.org/abs/2406.07951v1
Date: Wed, 12 Jun 2024 07:20:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 18:05:32.503456
Title: DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera
Title（参考訳）: DemosaicFormer:ハイブリッドEVSカメラのための粗大なデモサイジングネットワーク
Authors: Senyan Xu, Zhijing Sun, Jiaying Zhu, Yurui Zhu, Xueyang Fu, Zheng-Jun Zha,
Abstract要約: Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
参考スコア（独自算出の注目度）: 70.28702677370879
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hybrid Event-Based Vision Sensor (HybridEVS) is a novel sensor integrating traditional frame-based and event-based sensors, offering substantial benefits for applications requiring low-light, high dynamic range, and low-latency environments, such as smartphones and wearable devices. Despite its potential, the lack of Image signal processing (ISP) pipeline specifically designed for HybridEVS poses a significant challenge. To address this challenge, in this study, we propose a coarse-to-fine framework named DemosaicFormer which comprises coarse demosaicing and pixel correction. Coarse demosaicing network is designed to produce a preliminary high-quality estimate of the RGB image from the HybridEVS raw data while the pixel correction network enhances the performance of image restoration and mitigates the impact of defective pixels. Our key innovation is the design of a Multi-Scale Gating Module (MSGM) applying the integration of cross-scale features, which allows feature information to flow between different scales. Additionally, the adoption of progressive training and data augmentation strategies further improves model's robustness and effectiveness. Experimental results show superior performance against the existing methods both qualitatively and visually, and our DemosaicFormer achieves the best performance in terms of all the evaluation metrics in the MIPI 2024 challenge on Demosaic for Hybridevs Camera. The code is available at https://github.com/QUEAHREN/DemosaicFormer.
Abstract（参考訳）: Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合した、新しいセンサーである。その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。本研究では,この課題に対処するために,粗い復調と画素補正を含むDemosaicFormerという,粗い微細化フレームワークを提案する。粗解像ネットワークは、HybridEVSの生データからRGB画像の予備的な高品質な推定値を生成するように設計され、画素補正ネットワークは画像復元性能を高め、欠陥画素の影響を軽減する。私たちの重要な革新は、多スケールゲーティングモジュール(MSGM)の設計で、異なるスケール間で機能情報を流すことができるような、クロススケール機能の統合を適用しています。さらに、プログレッシブトレーニングとデータ拡張戦略の採用により、モデルの堅牢性と有効性はさらに向上する。実験の結果,従来の手法に比べて質的にも視覚的にも優れた性能を示し,MIPI 2024におけるハイブリドレフカメラのMIPI 2024課題における評価指標のすべてにおいて,私たちのDemosaicFormerは最高の性能を達成している。コードはhttps://github.com/QUEAHREN/DemosaicFormer.comで入手できる。

関連論文リスト

Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
論文参考訳（メタデータ） (2024-10-10T17:59:17Z)
Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution [6.367865391518726]
トランスフォーマーベースモデルは、画像超解像(SR)を含む低レベル視覚タスクにおいて顕著な結果を得たグローバルにより多くの入力ピクセルを活性化するために、ハイブリッドアテンションモデルが提案されている。ウェーブレット損失を利用してTransformerモデルをトレーニングし、定量的および主観的性能を向上させる。
論文参考訳（メタデータ） (2024-04-17T11:25:19Z)
Dual-Scale Transformer for Large-Scale Single-Pixel Imaging [11.064806978728457]
本研究では,HATNet と呼ばれる Kronecker SPI モデル上でのハイブリッドアテンショントランスフォーマを用いた深部展開ネットワークを提案し,実際の SPI カメラの画質向上を図る。勾配降下モジュールはベクトル化されたSPIに基づいて、以前の勾配降下モジュールに根付いた高い計算オーバーヘッドを回避することができる。このデノナイジングモジュールは,高周波・低周波アグリゲーションのための2次元空間アグリゲーションと,グローバル情報再構成のためのチャネルアグリゲーションを利用したエンコーダデコーダアーキテクチャである。
論文参考訳（メタデータ） (2024-04-07T15:53:21Z)
VmambaIR: Visual State Space Model for Image Restoration [36.11385876754612]
VmambaIRは、画像復元タスクに線形に複雑な状態空間モデル(SSM)を導入する。 VmambaIRは、より少ない計算資源とパラメータで最先端(SOTA)性能を達成する。
論文参考訳（メタデータ） (2024-03-18T02:38:55Z)
Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
論文参考訳（メタデータ） (2024-03-15T07:18:43Z)
DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文参考訳（メタデータ） (2023-12-12T06:07:21Z)
HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文参考訳（メタデータ） (2023-09-11T05:17:55Z)
Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution [13.894645293832044]
変換器を用いたモデルでは、リモートセンシング画像超解像(RSISR)の競合性能が示されている。本稿では,RSISRのための新しいトランスアーキテクチャであるCross-Spatial Pixel IntegrationとCross-Stage Feature Fusion Based Transformer Network (SPIFFNet)を提案する。提案手法は,画像全体のグローバル認知と理解を効果的に促進し,機能統合の効率化を図っている。
論文参考訳（メタデータ） (2023-07-06T13:19:06Z)
RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文参考訳（メタデータ） (2023-06-30T12:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。