論文の概要: Boosting Image Super-Resolution Via Fusion of Complementary Information Captured by Multi-Modal Sensors

• arxiv url: http://arxiv.org/abs/2012.03417v1
• Date: Mon, 7 Dec 2020 02:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:25:49.103074
• Title: Boosting Image Super-Resolution Via Fusion of Complementary Information Captured by Multi-Modal Sensors
• Title（参考訳）: マルチモーダルセンサによる補足情報融合画像の高分解能化
• Authors: Fan Wang, Jiangxin Yang, Yanlong Cao, Yanpeng Cao, and Michael Ying Yang
• Abstract要約: イメージスーパーレゾリューション(sr)は、低解像度光センサの画質を向上させる有望な技術である。 本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。
• 参考スコア（独自算出の注目度）: 21.264746234523678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image Super-Resolution (SR) provides a promising technique to enhance the image quality of low-resolution optical sensors, facilitating better-performing target detection and autonomous navigation in a wide range of robotics applications. It is noted that the state-of-the-art SR methods are typically trained and tested using single-channel inputs, neglecting the fact that the cost of capturing high-resolution images in different spectral domains varies significantly. In this paper, we attempt to leverage complementary information from a low-cost channel (visible/depth) to boost image quality of an expensive channel (thermal) using fewer parameters. To this end, we first present an effective method to virtually generate pixel-wise aligned visible and thermal images based on real-time 3D reconstruction of multi-modal data captured at various viewpoints. Then, we design a feature-level multispectral fusion residual network model to perform high-accuracy SR of thermal images by adaptively integrating co-occurrence features presented in multispectral images. Experimental results demonstrate that this new approach can effectively alleviate the ill-posed inverse problem of image SR by taking into account complementary information from an additional low-cost channel, significantly outperforming state-of-the-art SR approaches in terms of both accuracy and efficiency.
• Abstract（参考訳）: Image Super-Resolution (SR)は、低解像度光学センサの画質を向上させるための有望な技術を提供し、幅広いロボティクスアプリケーションにおいて、より優れた目標検出と自律ナビゲーションを容易にする。 最先端のSR手法は一般に単一チャネル入力を用いて訓練・テストされており、異なるスペクトル領域における高解像度画像のキャプチャコストが著しく異なるという事実を無視している。 本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。 そこで我々はまず,様々な視点で捉えたマルチモーダルデータのリアルタイムな3次元再構成に基づいて,画素単位での可視・熱画像の仮想的生成方法を提案する。 そして,マルチスペクトル画像に現れる共起特性を適応的に統合することにより,熱画像の高精度SRを実現するための特徴レベルの多重スペクトル融合残差ネットワークモデルを設計する。 実験により,新たな手法により,新たな低コストチャネルからの補完情報を考慮し,精度と効率の両面で最先端のSRアプローチを著しく向上させることにより,画像SRの逆問題を軽減することができることが示された。

関連論文リスト

• Semantic Guided Large Scale Factor Remote Sensing Image Super-resolution with Generative Diffusion Prior [13.148815217684277]
  大規模因子超解像(SR)アルゴリズムは、軌道から取得した低解像度(LR)衛星データの最大化に不可欠である。 既存の手法では、鮮明なテクスチャと正しい接地オブジェクトでSR画像を復元する際の課題に直面している。 本稿では,大規模リモートセンシング画像の超解像を実現するための新しいフレームワークであるセマンティックガイド拡散モデル(SGDM)を提案する。
  論文  参考訳（メタデータ） (2024-05-11T16:06:16Z)
• Efficient Model Agnostic Approach for Implicit Neural Representation Based Arbitrary-Scale Image Super-Resolution [5.704360536038803]
  単一の画像超解像(SISR)は、主に深層畳み込みネットワークによって大きく進歩した。 従来のネットワークは、画像を一定のスケールにスケールアップすることに限定されており、任意のスケールのイメージを生成するために暗黙の神経機能を利用することになる。 我々は,任意のスケールで超解像を実現する,新しい,効率的なフレームワークであるMixture of Experts Implicit Super-Resolution(MoEISR)を導入する。
  論文  参考訳（メタデータ） (2023-11-20T05:34:36Z)
• Hybrid-Supervised Dual-Search: Leveraging Automatic Learning for Loss-free Multi-Exposure Image Fusion [60.221404321514086]
  マルチ露光画像融合(MEF)は、様々な露光レベルを表すデジタルイメージングの限界に対処するための重要な解決策である。 本稿では、ネットワーク構造と損失関数の両方を自動設計するための二段階最適化探索方式であるHSDS-MEFと呼ばれるMEFのためのハイブリッドスーパービジョンデュアルサーチ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T08:07:26Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Learning from Multi-Perception Features for Real-Word Image Super-resolution [87.71135803794519]
  入力画像の複数の知覚的特徴を利用する新しいSR手法MPF-Netを提案する。 本稿では,MPFEモジュールを組み込んで,多様な知覚情報を抽出する手法を提案する。 また、モデルの学習能力を向上する対照的な正規化項(CR)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T07:35:49Z)
• DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image Super-Resolution [15.694407977871341]
  実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。 既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。 本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
  論文  参考訳（メタデータ） (2022-12-15T04:34:57Z)
• Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion [67.35540259040806]
  サブピクセルレベルのHS超解像フレームワークを提案する。 名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。 我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
  論文  参考訳（メタデータ） (2022-05-07T23:40:36Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Multi-image Super Resolution of Remotely Sensed Images using Residual Feature Attention Deep Neural Networks [1.3764085113103222]
  本研究は,マルチイメージ超解像課題に効果的に取り組む新しい残像注意モデル(RAMS)を提案する。 本研究では,3次元畳み込みによる視覚特徴の注意機構を導入し,意識的なデータ融合と情報抽出を実現する。 我々の表現学習ネットワークは、冗長な低周波信号を流すためにネストした残差接続を広範囲に利用している。
  論文  参考訳（メタデータ） (2020-07-06T22:54:02Z)
• Hyperspectral Image Super-resolution via Deep Spatio-spectral Convolutional Neural Networks [32.10057746890683]
  本稿では,高分解能ハイパースペクトル像と高分解能マルチスペクトル像を融合させる,深部畳み込みニューラルネットワークの簡易かつ効率的なアーキテクチャを提案する。 提案したネットワークアーキテクチャは,近年の最先端ハイパースペクトル画像の超解像化手法と比較して,最高の性能を達成している。
  論文  参考訳（メタデータ） (2020-05-29T05:56:50Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。