論文の概要: Multimodal Deep Unfolding for Guided Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2001.07575v1
• Date: Tue, 21 Jan 2020 14:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 23:52:58.735307
• Title: Multimodal Deep Unfolding for Guided Image Super-Resolution
• Title（参考訳）: ガイド画像超解像のためのマルチモーダル深部展開
• Authors: Iman Marivani, Evaggelia Tsiligianni, Bruno Cornelis and Nikos Deligiannis
• Abstract要約: ディープラーニング手法は、低解像度の入力から高解像度の出力へのエンドツーエンドのマッピングを学習するために、トレーニングデータに依存する。 本稿では,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。 提案手法は,サイド情報を用いた畳み込みスパース符号化の反復的アルゴリズムに類似した,新しい展開演算子に依存している。
• 参考スコア（独自算出の注目度）: 23.48305854574444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reconstruction of a high resolution image given a low resolution observation is an ill-posed inverse problem in imaging. Deep learning methods rely on training data to learn an end-to-end mapping from a low-resolution input to a high-resolution output. Unlike existing deep multimodal models that do not incorporate domain knowledge about the problem, we propose a multimodal deep learning design that incorporates sparse priors and allows the effective integration of information from another image modality into the network architecture. Our solution relies on a novel deep unfolding operator, performing steps similar to an iterative algorithm for convolutional sparse coding with side information; therefore, the proposed neural network is interpretable by design. The deep unfolding architecture is used as a core component of a multimodal framework for guided image super-resolution. An alternative multimodal design is investigated by employing residual learning to improve the training efficiency. The presented multimodal approach is applied to super-resolution of near-infrared and multi-spectral images as well as depth upsampling using RGB images as side information. Experimental results show that our model outperforms state-of-the-art methods.
• Abstract（参考訳）: 低分解能観察による高分解能画像の再構成は、画像の逆問題である。 ディープラーニング手法は、低解像度入力から高解像度出力へのエンドツーエンドマッピングを学習するために、トレーニングデータに依存する。 問題に関するドメイン知識を組み込まない既存の深層多モードモデルとは違って,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。 提案手法は,サイド情報を用いた畳み込みスパース符号化の反復アルゴリズムに類似した,新しいディープ展開演算子に依存しているため,提案したニューラルネットワークは設計によって解釈可能である。 深層展開アーキテクチャは、ガイド画像超解像のためのマルチモーダルフレームワークのコアコンポーネントとして使用される。 残留学習を用いて学習効率を向上させることで,代替のマルチモーダル設計を提案する。 提案手法は、近赤外・マルチスペクトル画像の超高分解能化や、RGB画像による深度アップサンプリングに応用される。 実験の結果,本モデルは最先端手法よりも優れていた。

関連論文リスト

• Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
  画素レベルの画像・マルチビュー生成のための新しい手法を提案する。 従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。 本モデルにより,マルチビュー画像間の画素アライメントが向上する。
  論文  参考訳（メタデータ） (2024-08-26T04:56:41Z)
• Research on Image Super-Resolution Reconstruction Mechanism based on Convolutional Neural Network [8.739451985459638]
  超解像アルゴリズムは、同一シーンから撮影された1つ以上の低解像度画像を高解像度画像に変換する。 再構成過程における画像の特徴抽出と非線形マッピング手法は,既存のアルゴリズムでは依然として困難である。 目的は、高解像度の画像から高品質で高解像度の画像を復元することである。
  論文  参考訳（メタデータ） (2024-07-18T06:50:39Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Deep Reparametrization of Multi-Frame Super-Resolution and Denoising [167.42453826365434]
  本稿では,多フレーム画像復元作業によく用いられる最大後部定式化の深部再パラメータ化を提案する。 提案手法は,学習された誤差メトリックと,対象画像の潜在表現を導入することによって導かれる。 我々は、バースト復調およびバースト超解像データセットに関する包括的な実験を通して、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2021-08-18T17:57:02Z)
• High-Frequency aware Perceptual Image Enhancement [0.08460698440162888]
  マルチスケール解析に適した新しいディープニューラルネットワークを導入し,効率的なモデルに依存しない手法を提案する。 本モデルは,デノイング,デブロアリング,単一画像超解像などのマルチスケール画像強調問題に適用できる。
  論文  参考訳（メタデータ） (2021-05-25T07:33:14Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Interpretable Deep Multimodal Image Super-Resolution [23.48305854574444]
  マルチモーダル画像超解像(Multimodal image super- resolution, SR)は、高分解能画像の再構成である。 本稿では,結合した疎結合を組み込んだマルチモーダルディープネットワーク設計を行い,他のモーダルからの情報を再構成プロセスに効果的に融合させる。
  論文  参考訳（メタデータ） (2020-09-07T14:08:35Z)
• Deep Iterative Residual Convolutional Network for Single Image Super-Resolution [31.934084942626257]
  我々は、ISRResCNet(Deep Iterative Super-Resolution Residual Convolutional Network)を提案する。 残差学習アプローチを用いて、深層ネットワークを反復的に訓練することにより、強力な画像正規化と大規模最適化手法を活用する。 トレーニング可能なパラメータがいくつかある本手法は,最先端の手法と比較して,異なるスケーリング要因に対する結果を改善する。
  論文  参考訳（メタデータ） (2020-09-07T12:54:14Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)
• Learned Multi-View Texture Super-Resolution [76.82725815863711]
  仮想3Dオブジェクトの高解像度テクスチャマップを,そのオブジェクトの低解像度画像の集合から作成できる超高解像度手法を提案する。 本アーキテクチャは, (i) 重なり合うビューの冗長性に基づくマルチビュー超解像の概念と, (ii) 高分解能画像構造の学習先行に基づくシングルビュー超解像の概念を統一する。
  論文  参考訳（メタデータ） (2020-01-14T13:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。