論文の概要: Generative Model-Assisted Demosaicing for Cross-multispectral Cameras

• arxiv url: http://arxiv.org/abs/2503.02322v1
• Date: Tue, 04 Mar 2025 06:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:15:07.860649
• Title: Generative Model-Assisted Demosaicing for Cross-multispectral Cameras
• Title（参考訳）: クロスマルチスペクトルカメラのための生成モデル支援デモサイジング
• Authors: Jiahui Luo, Kai Feng, Haijin Zeng, Yongyong Chen,
• Abstract要約: スペクトル分解は、スペクトルフィルタアレイ(SFA)ベースのマルチスペクトルイメージングプロセスにおいて重要な部分である。 シミュレーションデータを用いて教師付きで訓練されたエンドツーエンドネットワークは、実際のデータでは性能が良くないことが多い。 本稿では,自己教師付き生成モデルを用いたハイブリッド型教師付き学習手法を提案する。
• 参考スコア（独自算出の注目度）: 11.782550937327684
• License:
• Abstract: As a crucial part of the spectral filter array (SFA)-based multispectral imaging process, spectral demosaicing has exploded with the proliferation of deep learning techniques. However, (1) bothering by the difficulty of capturing corresponding labels for real data or simulating the practical spectral imaging process, end-to-end networks trained in a supervised manner using simulated data often perform poorly on real data. (2) cross-camera spectral discrepancies make it difficult to apply pre-trained models to new cameras. (3) existing demosaicing networks are prone to introducing visual artifacts on hard cases due to the interpolation of unknown values. To address these issues, we propose a hybrid supervised training method with the assistance of the self-supervised generative model, which performs well on real data across different spectral cameras. Specifically, our approach consists of three steps: (1) Pre-Training step: training the end-to-end neural network on a large amount of simulated data; (2) Pseudo-Pairing step: generating pseudo-labels of real target data using the self-supervised generative model; (3) Fine-Tuning step: fine-tuning the pre-trained model on the pseudo data pairs obtained in (2). To alleviate artifacts, we propose a frequency-domain hard patch selection method that identifies artifact-prone regions by analyzing spectral discrepancies using Fourier transform and filtering techniques, allowing targeted fine-tuning to enhance demosaicing performance. Finally, we propose UniSpecTest, a real-world multispectral mosaic image dataset for testing. Ablation experiments have demonstrated the effectiveness of each training step, and extensive experiments on both synthetic and real datasets show that our method achieves significant performance gains compared to state-of-the-art techniques.
• Abstract（参考訳）: スペクトルフィルタアレイ(SFA)に基づくマルチスペクトルイメージングプロセスの重要な部分として,深層学習技術の普及に伴い,スペクトルの偏光が爆発的に増加した。 しかし,(1)実データに対する対応するラベルの取得が困難であったり,実用的なスペクトルイメージングプロセスのシミュレーションが困難であったり,シミュレーションデータを用いて教師付きで訓練されたエンドツーエンドのネットワークが実データに不利な結果をもたらすことが多かった。 2) クロスカメラのスペクトル差は, 事前学習したモデルを新しいカメラに適用することが困難である。 (3)既存の復調ネットワークは、未知の値の補間により、ハードケースに視覚的アーティファクトを導入する傾向にある。 これらの課題に対処するために,様々なスペクトルカメラを横断する実データに対して,自己教師付き生成モデルを用いたハイブリッド型教師付きトレーニング手法を提案する。 具体的には,(1)事前学習ステップ:大量のシミュレーションデータに基づいてエンドツーエンドニューラルネットワークをトレーニングするステップ,(2)擬似ペアリングステップ:自己教師付き生成モデルを用いて実際のターゲットデータの擬似ラベルを生成するステップ,(3)微調整ステップ:(2)で得られた擬似データペア上で事前訓練されたモデルを微調整するステップ,の3つのステップから構成される。 本研究では,Fourier変換とフィルタ技術を用いてスペクトル差を解析し,成果物領域を識別する周波数領域ハードパッチ選択手法を提案する。 最後に,実世界のマルチスペクトルモザイク画像データセットUniSpecTestを提案する。 アブレーション実験は,各トレーニングステップの有効性を実証し,合成データと実データの両方に対する広範な実験により,本手法が最先端技術と比較して大きな性能向上を達成したことを示す。

関連論文リスト

• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• MDM: Advancing Multi-Domain Distribution Matching for Automatic Modulation Recognition Dataset Synthesis [35.07663680944459]
  ディープラーニング技術は、AMR(Automatic Modulation Recognition)タスクにうまく導入されている。 ディープラーニングの成功はすべて、大規模なデータセットのトレーニングによるものだ。 大量のデータの問題を解決するため、一部の研究者はデータ蒸留法を提唱した。
  論文  参考訳（メタデータ） (2024-08-05T14:16:54Z)
• A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders [5.069884983892437]
  本稿では,RGB-Dデータセットを利用した画像理解タスクのプログレッシブ事前学習手法を提案する。 第一段階では、コントラスト学習を用いてモデルを事前学習し、クロスモーダル表現を学習する。 第2段階では、マスク付きオートエンコーディングと雑音予測を用いてモデルをさらに事前訓練する。 我々のアプローチはスケーラブルで堅牢で、RGB-Dデータセットを事前学習するのに適しています。
  論文  参考訳（メタデータ） (2024-08-05T05:33:59Z)
• Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
  本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。 我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。 第2段階では,Diff-Prior という画像強調戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:23:05Z)
• Fast LiDAR Upsampling using Conditional Diffusion Models [1.3709133749179265]
  既存の手法は拡散モデルを用いて高忠実度で洗練されたLiDARデータを生成する可能性を示している。 高速かつ高品質な3次元シーンポイント雲のスパース・ツー・デンスアップサンプリングのための条件拡散モデルに基づく新しいアプローチを提案する。 本手法では,条件付き塗装マスクを用いて訓練した拡散確率モデルを用いて,画像補完タスクの性能向上を図っている。
  論文  参考訳（メタデータ） (2024-05-08T08:38:28Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision Farming [3.4788711710826083]
  本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。 我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。 RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
  論文  参考訳（メタデータ） (2020-09-12T08:49:36Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)
• Extracting dispersion curves from ambient noise correlations using deep learning [1.0237120900821557]
  本研究では,表面波の分散曲線の位相を分類する機械学習手法を提案する。 受信機のアレイで観測された表面の標準FTAN解析を画像に変換する。 我々は、教師付き学習目標を備えた畳み込みニューラルネットワーク(U-net)アーキテクチャを使用し、伝達学習を取り入れる。
  論文  参考訳（メタデータ） (2020-02-05T23:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。