論文の概要: Lightweight Quad Bayer HybridEVS Demosaicing via State Space Augmented Cross-Attention

• arxiv url: http://arxiv.org/abs/2508.06058v1
• Date: Fri, 08 Aug 2025 06:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.103607
• Title: Lightweight Quad Bayer HybridEVS Demosaicing via State Space Augmented Cross-Attention
• Title（参考訳）: 国家空間拡張型クロスアテンションによる軽量クアッドバイアハイブリッドEVSの実証
• Authors: Shiyang Zhou, Haijin Zeng, Yunfan Lu, Yongyong Chen, Jie Liu, Jingyong Su,
• Abstract要約: ハイブリッドイベントベースのビジョンセンサー(HybridEVS)のようなイベントカメラは、フレームの代わりに非同期の"イベント"として明るさの変化を捉え、モバイル写真に高度な応用を提供する。 課題は、Quad Bayer Color Filter Array (CFA)センサーと、色情報を欠いたイベントピクセルを組み合わせることで発生し、ダウンストリームアプリケーション前の分解プロセスでエイリアスとアーティファクトが発生する。 textbfState space augmented cross-textbfAttentionにより、イベントピクセルを処理できる軽量のtextbfTwo-stage ネットワークである textbfTSANet を導入する。
• 参考スコア（独自算出の注目度）: 14.330556564038401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras like the Hybrid Event-based Vision Sensor (HybridEVS) camera capture brightness changes as asynchronous "events" instead of frames, offering advanced application on mobile photography. However, challenges arise from combining a Quad Bayer Color Filter Array (CFA) sensor with event pixels lacking color information, resulting in aliasing and artifacts on the demosaicing process before downstream application. Current methods struggle to address these issues, especially on resource-limited mobile devices. In response, we introduce \textbf{TSANet}, a lightweight \textbf{T}wo-stage network via \textbf{S}tate space augmented cross-\textbf{A}ttention, which can handle event pixels inpainting and demosaicing separately, leveraging the benefits of dividing complex tasks into manageable subtasks. Furthermore, we introduce a lightweight Cross-Swin State Block that uniquely utilizes positional prior for demosaicing and enhances global dependencies through the state space model with linear complexity. In summary, TSANet demonstrates excellent demosaicing performance on both simulated and real data of HybridEVS while maintaining a lightweight model, averaging better results than the previous state-of-the-art method DemosaicFormer across seven diverse datasets in both PSNR and SSIM, while respectively reducing parameter and computation costs by $1.86\times$ and $3.29\times$. Our approach presents new possibilities for efficient image demosaicing on mobile devices. Code is available in the supplementary materials.
• Abstract（参考訳）: ハイブリッドイベントベースのビジョンセンサー(HybridEVS)のようなイベントカメラは、フレームの代わりに非同期の"イベント"として明るさの変化を捉え、モバイル写真に高度な応用を提供する。 しかし、クアッドベイアカラーフィルタアレイ(CFA)センサーと色情報を欠いたイベントピクセルを組み合わせることで、ダウンストリームアプリケーション前の分解プロセスにおけるエイリアスとアーティファクトが生じる。 現在の手法は、特にリソース制限されたモバイルデバイスにおいて、これらの問題に対処するのに苦労している。 そこで本稿では,複雑なタスクを管理可能なサブタスクに分割することで,イベントピクセルの描画と分解を別々に処理できる,軽量な \textbf{T}wo-stage network である \textbf{S}tate space augmented cross-\textbf{A}ttention を導入する。 さらに,線形複雑度のある状態空間モデルを通じてグローバルな依存度を高めるために,位置先を一意に活用する軽量なクロススウィンステートブロックを導入する。 要約すると、TSANetは、軽量モデルを維持しながら、ハイブリッドEVSのシミュレーションデータと実データの両方で優れた復調性能を示し、PSNRとSSIMの7つの異なるデータセットに対して、従来の最先端のDemosaicFormerよりも優れた結果を平均化し、パラメータと計算コストをそれぞれ1.86\times$と3.29\times$に削減した。 提案手法は,モバイルデバイス上での効率的な画像復号化の新たな可能性を示す。 コードは補足資料で入手できる。

関連論文リスト

• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera [70.28702677370879]
  Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。 その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。 粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
  論文  参考訳（メタデータ） (2024-06-12T07:20:46Z)
• Homography Guided Temporal Fusion for Road Line and Marking Segmentation [73.47092021519245]
  道路線やマーキングは、移動車両、影、グレアの存在下でしばしば閉鎖される。 本稿では,映像フレームを補足的に利用するHomography Guided Fusion (HomoFusion) モジュールを提案する。 カメラ固有のデータと地上平面の仮定をクロスフレーム対応に利用することにより,高速・高精度性能が向上した軽量ネットワークの実現が期待できることを示す。
  論文  参考訳（メタデータ） (2024-04-11T10:26:40Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
  既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
  論文  参考訳（メタデータ） (2023-09-18T06:51:41Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。