論文の概要: Learning deep illumination-robust features from multispectral filter array images

• arxiv url: http://arxiv.org/abs/2407.15472v2
• Date: Tue, 23 Jul 2024 09:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 11:59:35.508572
• Title: Learning deep illumination-robust features from multispectral filter array images
• Title（参考訳）: マルチスペクトルフィルタアレイ画像からの深部照明特性の学習
• Authors: Anis Amziane,
• Abstract要約: マルチスペクトル(MS)スナップショットカメラは、1枚のショットで複数のスペクトルバンドをキャプチャし、各ピクセルが1つのチャネル値しか持たない生画像を生成する。 完全定義MS画像のトレーニングは、特にディープニューラルネットワーク(DNN)を用いて、計算集約的に行うことができる 本稿では,原画像から識別・照度特性を学習するための独自のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.5439020425819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multispectral (MS) snapshot cameras equipped with a MS filter array (MSFA), capture multiple spectral bands in a single shot, resulting in a raw mosaic image where each pixel holds only one channel value. The fully-defined MS image is estimated from the raw one through $\textit{demosaicing}$, which inevitably introduces spatio-spectral artifacts. Moreover, training on fully-defined MS images can be computationally intensive, particularly with deep neural networks (DNNs), and may result in features lacking discrimination power due to suboptimal learning of spatio-spectral interactions. Furthermore, outdoor MS image acquisition occurs under varying lighting conditions, leading to illumination-dependent features. This paper presents an original approach to learn discriminant and illumination-robust features directly from raw images. It involves: $\textit{raw spectral constancy}$ to mitigate the impact of illumination, $\textit{MSFA-preserving}$ transformations suited for raw image augmentation to train DNNs on diverse raw textures, and $\textit{raw-mixing}$ to capture discriminant spatio-spectral interactions in raw images. Experiments on MS image classification show that our approach outperforms both handcrafted and recent deep learning-based methods, while also requiring significantly less computational effort.
• Abstract（参考訳）: マルチスペクトル(MS)スナップショットカメラはMSフィルタアレイ(MSFA)を備え、1枚のショットで複数のスペクトル帯域をキャプチャし、各ピクセルが1つのチャネル値しか持たないモザイク画像を生成する。 完全に定義されたMS画像は生画像から$\textit{demosaicing}$まで推定される。 さらに、完全に定義されたMS画像のトレーニングは、特にディープニューラルネットワーク(DNN)で計算集約され、時空間相互作用の最適下学習による識別能力の欠如が生じる可能性がある。 さらに、屋外のMS画像の取得は様々な照明条件下で行われ、照明に依存した特徴をもたらす。 本稿では, 原画像から直接, 識別的・照明的特徴を学習するための独自のアプローチを提案する。 $\textit{raw spectrum constancy}$ 照明の影響を軽減するために、$\textit{MSFA-preserving}$ さまざまな生のテクスチャでDNNをトレーニングするための生のイメージ拡張に適した変換、生のイメージにおける差別的な時空間相互作用をキャプチャするために$\textit{raw-mixing}$ である。 MS画像分類実験により,本手法は手工芸法と近年の深層学習法の両方に優れ,計算労力も大幅に削減された。

関連論文リスト

• Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1 [51.404644401997736]
  本稿では、畳み込みニューラルネットワークを用いて偏光SAR画像のスペックルを除去するための完全なフレームワークを提案する。 実験により,提案手法はスペックル低減と分解能保存の両方において例外的な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-08-28T10:07:17Z)
• Multi-Feature Aggregation in Diffusion Models for Enhanced Face Super-Resolution [6.055006354743854]
  超解像を生成するために,複数の低画質画像から抽出した特徴と組み合わせた低解像度画像を利用するアルゴリズムを開発した。 他のアルゴリズムとは異なり、我々のアプローチは属性情報を明示的に提供せずに顔の特徴を復元する。 これは、高解像度画像と低解像度画像を組み合わせて、より信頼性の高い超高解像度画像を生成するコンディショナーとして初めて使用される。
  論文  参考訳（メタデータ） (2024-08-27T20:08:33Z)
• Multi-spectral Class Center Network for Face Manipulation Detection and Localization [52.569170436393165]
  顔の操作検出と局所化のための新しいマルチスペクトル・クラス・センター・ネットワーク(MSCCNet)を提案する。 周波数帯域の異なる特徴に基づき、MSCCモジュールはマルチスペクトルクラスセンターを収集し、ピクセル対クラス関係を計算する。 多スペクトルクラスレベルの表現を適用することで、偽画像の操作された領域に敏感な視覚概念の意味情報を抑えることができる。
  論文  参考訳（メタデータ） (2023-05-18T08:09:20Z)
• Joint Learning of Deep Texture and High-Frequency Features for Computer-Generated Image Detection [24.098604827919203]
  本稿では,CG画像検出のための深いテクスチャと高周波特徴を有する共同学習戦略を提案する。 セマンティックセグメンテーションマップを生成して、アフィン変換操作を誘導する。 原画像と原画像の高周波成分の組み合わせを、注意機構を備えたマルチブランチニューラルネットワークに供給する。
  論文  参考訳（メタデータ） (2022-09-07T17:30:40Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
  画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。 最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。 本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
  論文  参考訳（メタデータ） (2021-12-08T04:33:33Z)
• Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing [5.678834480723395]
  我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。 Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。 PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
  論文  参考訳（メタデータ） (2021-04-01T04:40:22Z)
• Learning to Enhance Visual Quality via Hyperspectral Domain Mapping [8.365634649800658]
  SpecNetはスペクトルプロファイルを計算し、所定の画像の画素単位のダイナミックレンジ調整を推定する。 我々は、RGB画像から可視HSIを推測するために、自己スーパービジョンとスペクトルプロファイル正規化ネットワークを組み込んだ。
  論文  参考訳（メタデータ） (2021-02-10T13:27:34Z)
• Single Image Brightening via Multi-Scale Exposure Fusion with Hybrid Learning [48.890709236564945]
  小さいISOと小さな露光時間は、通常、背面または低い光条件下で画像をキャプチャするために使用される。 本稿では、そのような画像を明るくするために、単一の画像輝度化アルゴリズムを提案する。 提案アルゴリズムは,露出時間が大きい2つの仮想画像を生成するための,ユニークなハイブリッド学習フレームワークを含む。
  論文  参考訳（メタデータ） (2020-07-04T08:23:07Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。