論文の概要: Visible and infrared self-supervised fusion trained on a single example

• arxiv url: http://arxiv.org/abs/2307.04100v2
• Date: Sat, 9 Mar 2024 08:16:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:59:36.593995
• Title: Visible and infrared self-supervised fusion trained on a single example
• Title（参考訳）: 単一例による可視・赤外線自己監督核融合
• Authors: Nati Ofir and Jean-Christophe Nebel
• Abstract要約: マルチスペクトルイメージングは画像処理とコンピュータビジョンにおいて重要な課題である。 近赤外(NIR)画像融合における可視光(RGB)の問題点は特にタイムリである。 提案されたアプローチは、単一の例で自己監視学習(SSL)によって畳み込みニューラルネットワークをトレーニングすることで、これら2つのチャネルを融合させる。 実験により, 提案手法は, 同様の, より質的, 定量的な多スペクトル核融合結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 1.1188842018827656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multispectral imaging is an important task of image processing and computer vision, which is especially relevant to applications such as dehazing or object detection. With the development of the RGBT (RGB & Thermal) sensor, the problem of visible (RGB) to Near Infrared (NIR) image fusion has become particularly timely. Indeed, while visible images see color, but suffer from noise, haze, and clouds, the NIR channel captures a clearer picture. The proposed approach fuses these two channels by training a Convolutional Neural Network by Self Supervised Learning (SSL) on a single example. For each such pair, RGB and NIR, the network is trained for seconds to deduce the final fusion. The SSL is based on the comparison of the Structure of Similarity and Edge-Preservation losses, where the labels for the SSL are the input channels themselves. This fusion preserves the relevant detail of each spectral channel without relying on a heavy training process. Experiments demonstrate that the proposed approach achieves similar or better qualitative and quantitative multispectral fusion results than other state-of-the-art methods that do not rely on heavy training and/or large datasets.
• Abstract（参考訳）: マルチスペクトルイメージングは画像処理やコンピュータビジョンの重要なタスクであり、特にデハジングや物体検出などのアプリケーションに関連している。 RGBT(RGB & Thermal)センサの開発により、近赤外(NIR)画像融合への可視(RGB)の問題点が特にタイムリーになった。 実際、可視光画像は色が見えるが、ノイズ、ヘイズ、雲に悩まされているが、NIRチャンネルはより鮮明な画像をキャプチャする。 提案手法は,1つの例で自己監視学習(SSL)による畳み込みニューラルネットワークをトレーニングすることにより,これら2つのチャネルを融合する。 RGBとNIRの各ペアに対して、ネットワークは最終核融合を推定するために数秒間訓練される。 SSLは、SSLのラベルが入力チャネル自身である、類似構造とエッジ保存損失の比較に基づいている。 この融合は、重い訓練プロセスに頼ることなく、各スペクトルチャネルの関連する詳細を保持する。 実験により、提案手法は、重いトレーニングや大規模データセットに依存しない他の最先端手法よりも、質的あるいは定量的なマルチスペクトル融合結果を達成することが示されている。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models [54.952979335638204]
  本稿では,Dif-Fusionと呼ばれる拡散モデルを用いて,マルチチャネル入力データの分布を生成する手法を提案する。 我々の手法は、特にカラー忠実度において、他の最先端画像融合法よりも効果的である。
  論文  参考訳（メタデータ） (2023-01-19T13:37:19Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Multispectral image fusion by super pixel statistics [1.4685355149711299]
  近赤外(NIR)融合における可視色RGBの課題に対処する。 RGB画像はシーンの色を捉え、NIRはヘイズや雲の向こうの細部を捉えます。 提案手法は各スペクトルの双方の利点を含む融合を生成するために設計されている。
  論文  参考訳（メタデータ） (2021-12-21T16:19:10Z)
• Generation of the NIR spectral Band for Satellite Images with Convolutional Neural Networks [0.0]
  ディープニューラルネットワークは、画像の着色問題など、人工的なスペクトル情報を生成することができる。 我々は,高解像度衛星画像のRGBチャネルのみを用いて,NIR帯域生成作業におけるGAN(Generative Adversarial Network)アプローチについて検討した。
  論文  参考訳（メタデータ） (2021-06-13T15:14:57Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。