論文の概要: Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet
and 2.5D Texture Transfer
- arxiv url: http://arxiv.org/abs/2203.03951v1
- Date: Tue, 8 Mar 2022 09:24:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 14:57:35.153388
- Title: Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet
and 2.5D Texture Transfer
- Title(参考訳): 3次元ボリュームネットと2.5次元テクスチャ転送を用いた高効率・高精度ハイパースペクトルパンシャーピング
- Authors: Yinao Li, Yutaro Iwamoto, Ryousuke Nakamura, Lanfen Lin, Ruofeng Tong,
Yen-Wei Chen
- Abstract要約: 本稿では,従来提案されていた3次元CNNモデルVolumeNetと2.5Dテクスチャ転送を組み合わせた新しいマルチスペクトル画像融合法を提案する。
実験の結果,提案手法は客観的精度評価,手法効率,視覚的主観的評価において,既存手法よりも優れていた。
- 参考スコア(独自算出の注目度): 13.854539265252201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, convolutional neural networks (CNN) have obtained promising results
in single-image SR for hyperspectral pansharpening. However, enhancing CNNs'
representation ability with fewer parameters and a shorter prediction time is a
challenging and critical task. In this paper, we propose a novel multi-spectral
image fusion method using a combination of the previously proposed 3D CNN model
VolumeNet and 2.5D texture transfer method using other modality high resolution
(HR) images. Since a multi-spectral (MS) image consists of several bands and
each band is a 2D image slice, MS images can be seen as 3D data. Thus, we use
the previously proposed VolumeNet to fuse HR panchromatic (PAN) images and
bicubic interpolated MS images. Because the proposed 3D VolumeNet can
effectively improve the accuracy by expanding the receptive field of the model,
and due to its lightweight structure, we can achieve better performance against
the existing method without purchasing a large number of remote sensing images
for training. In addition, VolumeNet can restore the high-frequency information
lost in the HR MR image as much as possible, reducing the difficulty of feature
extraction in the following step: 2.5D texture transfer. As one of the latest
technologies, deep learning-based texture transfer has been demonstrated to
effectively and efficiently improve the visual performance and quality
evaluation indicators of image reconstruction. Different from the texture
transfer processing of RGB image, we use HR PAN images as the reference images
and perform texture transfer for each frequency band of MS images, which is
named 2.5D texture transfer. The experimental results show that the proposed
method outperforms the existing methods in terms of objective accuracy
assessment, method efficiency, and visual subjective evaluation.
- Abstract(参考訳): 近年、畳み込みニューラルネットワーク(CNN)は、高スペクトルパンシャーピングのための単一像SRにおいて有望な結果を得た。
しかし、より少ないパラメータと短い予測時間でCNNの表現能力を向上することは困難で重要な課題である。
本稿では,前述した3次元cnnモデルボリュームネットと2.5次元テクスチャ転送法を組み合わせて,他のモード分解能(hr)画像を用いたマルチスペクトル画像融合法を提案する。
マルチスペクトル(MS)画像は複数のバンドで構成され、各バンドは2D画像スライスであるため、MS画像は3Dデータとして見ることができる。
そこで,提案したVolumeNetを用いて,HRパンクロマティック(PAN)画像とバイキュビック補間MS画像とを融合する。
提案する3次元ボリュームネットは,モデルの受容領域を拡大することにより,精度を効果的に向上できるため,その軽量な構造により,多数のリモートセンシング画像を購入することなく,既存の手法よりも優れた性能を実現することができる。
さらに、VolumeNetはHR MR画像で失われた高周波情報を可能な限り復元することができ、次のステップで特徴抽出の困難さを軽減することができる。
最新の技術の一つとして、画像再構成の視覚的性能と品質評価指標を効果的かつ効率的に改善する深層学習に基づくテクスチャ転送が実証されている。
RGB画像のテクスチャ転送処理とは異なり、HR PAN画像を基準画像として使用し、2.5Dテクスチャ転送と呼ばれるMS画像の各周波数帯域に対してテクスチャ転送を行う。
実験の結果,提案手法は客観的精度評価,手法効率,視覚的主観的評価において,既存手法よりも優れていた。
関連論文リスト
- Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [39.84321605007352]
本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。
本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。
提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
論文 参考訳(メタデータ) (2023-12-03T18:59:15Z) - 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。
画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-10-23T15:02:23Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D
Microscopic Imaging using Digital Holography [3.4635026053111484]
デジタルホログラフィー(Digital holography)は、平面波面を持つレーザービームを物体に放出し、ホログラムと呼ばれる回折波形の強度を測定する3Dイメージング技術である。
近年,より正確なホログラフィック処理に深層学習(DL)法が用いられている。
本稿では, 識別ネットワークを用いて, 復元品質のセマンティック尺度を実現する, 生成的敵ネットワークに基づく新しいDLアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:13:45Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳(メタデータ) (2021-09-06T16:00:20Z) - Deep Amended Gradient Descent for Efficient Spectral Reconstruction from
Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。
まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。
AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文 参考訳(メタデータ) (2021-08-12T05:54:09Z) - Dense Dilated UNet: Deep Learning for 3D Photoacoustic Tomography Image
Reconstruction [1.5749416770494706]
3次元光音響トモグラフィ(PAT)における人工物補正のための改良畳み込みニューラルネットワーク (CNN) アーキテクチャ Dense Dilation UNet (DD-UNET) を提案する。
FD-UNet (Fully Dense UNet) のマルチスケール構造類似度指標で測定した画像品質の観点から,提案したCNNを比較した。
その結果、DD-NetはFD-UNetを一貫して上回り、より小さな画像の特徴をより確実に再構築できることを示した。
論文 参考訳(メタデータ) (2021-04-07T14:01:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。