論文の概要: Multispectral Demosaicing via Dual Cameras
- arxiv url: http://arxiv.org/abs/2503.22026v2
- Date: Wed, 09 Apr 2025 00:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:03:53.584078
- Title: Multispectral Demosaicing via Dual Cameras
- Title(参考訳): デュアルカメラによるマルチスペクトルデモ
- Authors: SaiKiran Tedla, Junyong Lee, Beixuan Yang, Mahmoud Afifi, Michael S. Brown,
- Abstract要約: マルチスペクトル(MS)画像は、幅広いスペクトル帯域にわたる詳細なシーン情報をキャプチャする。
MSデータの処理において重要なステップはデモサイシングであり、カメラが捉えたモザイクMS画像から色情報を再構成する。
本稿では、RGBとMSの両方が同一シーンを撮影するデュアルカメラ用に特別に設計されたMS画像復調方法を提案する。
- 参考スコア(独自算出の注目度): 29.349707272903835
- License:
- Abstract: Multispectral (MS) images capture detailed scene information across a wide range of spectral bands, making them invaluable for applications requiring rich spectral data. Integrating MS imaging into multi camera devices, such as smartphones, has the potential to enhance both spectral applications and RGB image quality. A critical step in processing MS data is demosaicing, which reconstructs color information from the mosaic MS images captured by the camera. This paper proposes a method for MS image demosaicing specifically designed for dual-camera setups where both RGB and MS cameras capture the same scene. Our approach leverages co-captured RGB images, which typically have higher spatial fidelity, to guide the demosaicing of lower-fidelity MS images. We introduce the Dual-camera RGB-MS Dataset - a large collection of paired RGB and MS mosaiced images with ground-truth demosaiced outputs - that enables training and evaluation of our method. Experimental results demonstrate that our method achieves state-of-the-art accuracy compared to existing techniques.
- Abstract(参考訳): マルチスペクトル(MS)画像は、幅広いスペクトル帯域にわたる詳細なシーン情報をキャプチャし、リッチなスペクトルデータを必要とするアプリケーションには有用である。
MSイメージングをスマートフォンなどのマルチカメラデバイスに統合することは、スペクトルアプリケーションとRGB画像品質の両方を強化する可能性がある。
MSデータの処理において重要なステップはデモサイシングであり、カメラが捉えたモザイクMS画像から色情報を再構成する。
本稿では、RGBとMSの両方が同一シーンを撮影するデュアルカメラ用に特別に設計されたMS画像復調方法を提案する。
提案手法は,空間忠実度が高い共撮影RGB画像を利用して,低忠実度MS画像の復調を誘導する。
本稿では,Dual-camera RGB-MS Dataset(RGBとMSモザイク画像の大規模なコレクション)を紹介し,本手法のトレーニングと評価を可能にする。
実験により,本手法は既存の手法と比較して最先端の精度を達成できることが実証された。
関連論文リスト
- Limitations of Data-Driven Spectral Reconstruction -- Optics-Aware Analysis and Mitigation [22.07699685165064]
コスト効率のよいRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的とした,データ駆動型スペクトル再構成の最近の取り組み。
我々は、現在のデータセットとオーバーフィッティングに関する実用的制限と、RGB画像に符号化された情報の性質に関する基本的な制限の両方を評価する。
本稿では,メタデータデータ拡張と光学レンズ収差の組み合わせを利用して,RGB画像へのメタデータ情報の符号化を改善することを提案する。
論文 参考訳(メタデータ) (2024-01-08T11:46:45Z) - EvPlug: Learn a Plug-and-Play Module for Event and Image Fusion [55.367269556557645]
EvPlugは、既存のRGBベースのモデルの監視から、プラグアンドプレイイベントとイメージ融合モジュールを学習する。
オブジェクト検出,セマンティックセグメンテーション,3Dハンドポーズ推定などの視覚タスクにおいて,EvPlugの優位性を示す。
論文 参考訳(メタデータ) (2023-12-28T10:05:13Z) - Image Demoireing in RAW and sRGB Domains [18.921026683632146]
我々は、Gated Feedback Module (GFM) と Frequency Selection Module (FSM) を備えたスキップ接続型復号モジュール(SCDM)を開発した。
我々はRGB Guided ISP(RGISP)を設計し、デバイス依存のISPを学習し、色回復のプロセスを支援する。
我々のRRIDは、PSNRでは0.62dB、SSIMでは0.003のモアレパターン除去とカラーキャスト補正の性能において、最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-12-14T16:00:28Z) - mEBAL2 Database and Benchmark: Image-based Multispectral Eyeblink Detection [14.052943954940758]
本研究は、RGBおよび近赤外(NIR)個々の画像における新しいマルチスペクトルデータベースとアイブリンク検出のための新しいアプローチを導入する。
mEBAL2は、現存する最大のアイリンクデータベースである。
mEBAL2は180人の学生から21,100の画像シーケンスを含んでいる。
論文 参考訳(メタデータ) (2023-09-14T17:25:25Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳(メタデータ) (2022-03-28T12:27:34Z) - Multi-Scale Iterative Refinement Network for RGB-D Salient Object
Detection [7.062058947498447]
RGB画像の様々なスケールや解像度に、様々な特徴レベルの意味的ギャップがあるため、健全な視覚的手がかりが現れる。
同様のサージェントパターンは、クロスモーダルなディープイメージとマルチスケールバージョンで利用できる。
注意に基づく融合モジュール (ABF) を設計し, 相互相関に対処する。
論文 参考訳(メタデータ) (2022-01-24T10:33:00Z) - Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。
提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。
実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
論文 参考訳(メタデータ) (2021-09-03T07:17:31Z) - Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB
Images in the Wild [48.44194221801609]
この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。
我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。
提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
論文 参考訳(メタデータ) (2021-08-15T05:19:44Z) - Enhanced Hyperspectral Image Super-Resolution via RGB Fusion and TV-TV
Minimization [9.584717030078245]
ハイパースペクトル(HS)画像には、リモートセンシング、監視、天文学などの応用において重要な、詳細なスペクトル情報が含まれている。
HSカメラのハードウェア制限のため、撮像された画像は空間解像度が低い。
それらを改善するために、低分解能ハイパースペクトル画像は、融合ベースHS画像超解像と呼ばれる技術により、従来の高分解能RGB画像と融合する。
論文 参考訳(メタデータ) (2021-06-13T18:52:47Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳(メタデータ) (2021-01-26T18:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。