論文の概要: RGB-Event ISP: The Dataset and Benchmark
- arxiv url: http://arxiv.org/abs/2501.19129v1
- Date: Fri, 31 Jan 2025 13:36:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:00:22.565117
- Title: RGB-Event ISP: The Dataset and Benchmark
- Title（参考訳）: RGB-Event ISP: データセットとベンチマーク
- Authors: Yunfan Lu, Yanlin Qian, Ziyang Rao, Junren Xiao, Liming Chen, Hui Xiong,
- Abstract要約: イベント誘導ISPに関する最初の研究を行っている。
本稿では,3373枚のRAW画像を用いたイベント-RAWペアデータセットを提案する。
我々はRGB-Event ISPにおいて重要な技術的課題と今後の方向性を示した。
- 参考スコア（独自算出の注目度）: 18.874171294703213
- License:
- Abstract: Event-guided imaging has received significant attention due to its potential to revolutionize instant imaging systems. However, the prior methods primarily focus on enhancing RGB images in a post-processing manner, neglecting the challenges of image signal processor (ISP) dealing with event sensor and the benefits events provide for reforming the ISP process. To achieve this, we conduct the first research on event-guided ISP. First, we present a new event-RAW paired dataset, collected with a novel but still confidential sensor that records pixel-level aligned events and RAW images. This dataset includes 3373 RAW images with 2248 x 3264 resolution and their corresponding events, spanning 24 scenes with 3 exposure modes and 3 lenses. Second, we propose a conventional ISP pipeline to generate good RGB frames as reference. This conventional ISP pipleline performs basic ISP operations, e.g.demosaicing, white balancing, denoising and color space transforming, with a ColorChecker as reference. Third, we classify the existing learnable ISP methods into 3 classes, and select multiple methods to train and evaluate on our new dataset. Lastly, since there is no prior work for reference, we propose a simple event-guided ISP method and test it on our dataset. We further put forward key technical challenges and future directions in RGB-Event ISP. In summary, to the best of our knowledge, this is the very first research focusing on event-guided ISP, and we hope it will inspire the community. The code and dataset are available at: https://github.com/yunfanLu/RGB-Event-ISP.
- Abstract（参考訳）: イベント誘導イメージングは、インスタントイメージングシステムに革命をもたらす可能性があるため、大きな注目を集めている。
しかし,従来の手法では,イベントセンサを扱う画像信号処理装置(ISP)の課題や,イベントがISPプロセスの改革にもたらすメリットを無視して,後処理でRGB画像の強化に重点を置いていた。
これを実現するために、イベント誘導ISPに関する最初の研究を行う。
まず、画素レベルの整列イベントとRAW画像を記録する新しい秘密センサーで収集されたイベント-RAWペアデータセットを提案する。
このデータセットには、2248 x 3264解像度の3373のRAWイメージと、それに対応するイベントが含まれ、3つの露光モードと3つのレンズを備えた24のシーンにまたがる。
第2に、参照として優れたRGBフレームを生成するための従来のISPパイプラインを提案する。
従来のISP piplelineは、例えば、デモサイティング、ホワイトバランシング、デノイング、カラー空間変換といった基本的なISP操作を、ColorCheckerをリファレンスとして実行する。
第三に、既存の学習可能なISPメソッドを3つのクラスに分類し、新しいデータセットをトレーニングし評価する複数のメソッドを選択します。
最後に、参照のための事前の作業がないため、単純なイベント誘導ISPメソッドを提案し、データセット上でテストする。
我々はさらに、RGB-Event ISPにおける重要な技術的課題と今後の方向性を推し進めた。
まとめると、私たちの知る限りでは、これはイベント誘導ISPに焦点を当てた最初の研究であり、コミュニティに刺激を与えることを期待しています。
コードとデータセットは、https://github.com/yunfanLu/RGB-Event-ISPで公開されている。
関連論文リスト
- RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。
RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
論文 参考訳（メタデータ） (2024-06-11T12:01:11Z) - Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。
我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。
本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-04-17T17:11:47Z) - Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain [27.1716081216131]
現在の方法では、携帯電話のRAW画像とDSLRカメラのRGB画像の違いを無視する。
本稿では、新しいNeural ISPフレームワーク、FourierISPを紹介する。
このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。
論文 参考訳（メタデータ） (2024-01-04T09:18:31Z) - SSTFormer: Bridging Spiking Neural Network and Memory Support
Transformer for Frame-Event based Recognition [42.118434116034194]
本稿では,RGBフレームとイベントストリームを同時に融合してパターンを認識することを提案する。
RGB-Eventベースの分類データセットが不足しているため、大規模なPokerEventデータセットも提案する。
論文 参考訳（メタデータ） (2023-08-08T16:15:35Z) - StereoISP: Rethinking Image Signal Processing for Dual Camera Systems [4.703692756660711]
StereoISPは、ステレオカメラ対から生測値を用いて、デシックされたデノライズされたRGB画像を生成する。
KITTI 2015では,再建RGB画像のPSNRを少なくとも2dB改善した。
論文 参考訳（メタデータ） (2022-11-11T18:34:59Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳（メタデータ） (2022-10-20T10:43:53Z) - Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild [159.71025525493354]
本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
論文 参考訳（メタデータ） (2022-03-20T20:13:59Z) - CRISPnet: Color Rendition ISP Net [25.210464009273934]
画像信号プロセッサ(ISP)は、ノイズの多い生センサ測定からカラーイメージを再構築するための、歴史的に成長したソフトウェアシステムである。
複雑でレガシなスマートフォンISPと比較して色再現精度を特に目標とする最初の学習ISPモデルであるCRISPnetを提案する。
また,高ダイナミックレンジモニタデータと実世界のデータの両方からなるISPイメージデータセットを,実際の携帯電話ISPパイプラインで取得する。
論文 参考訳（メタデータ） (2022-03-20T14:28:38Z) - Hyperspectral Image Super-Resolution with Spectral Mixup and
Heterogeneous Datasets [99.92564298432387]
ハイパースペクトル画像(HSI)超解像(SR)の研究
HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。
これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
論文 参考訳（メタデータ） (2021-01-19T12:19:53Z) - Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。
オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。
この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
論文 参考訳（メタデータ） (2021-01-13T16:30:20Z) - Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。
5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
論文 参考訳（メタデータ） (2020-05-30T13:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。