論文の概要: Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet
and 2.5D Texture Transfer
- arxiv url: http://arxiv.org/abs/2203.03951v1
- Date: Tue, 8 Mar 2022 09:24:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 14:57:35.153388
- Title: Efficient and Accurate Hyperspectral Pansharpening Using 3D VolumeNet
and 2.5D Texture Transfer
- Title（参考訳）: 3次元ボリュームネットと2.5次元テクスチャ転送を用いた高効率・高精度ハイパースペクトルパンシャーピング
- Authors: Yinao Li, Yutaro Iwamoto, Ryousuke Nakamura, Lanfen Lin, Ruofeng Tong,
Yen-Wei Chen
- Abstract要約: 本稿では,従来提案されていた3次元CNNモデルVolumeNetと2.5Dテクスチャ転送を組み合わせた新しいマルチスペクトル画像融合法を提案する。
実験の結果,提案手法は客観的精度評価,手法効率,視覚的主観的評価において,既存手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 13.854539265252201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, convolutional neural networks (CNN) have obtained promising results
in single-image SR for hyperspectral pansharpening. However, enhancing CNNs'
representation ability with fewer parameters and a shorter prediction time is a
challenging and critical task. In this paper, we propose a novel multi-spectral
image fusion method using a combination of the previously proposed 3D CNN model
VolumeNet and 2.5D texture transfer method using other modality high resolution
(HR) images. Since a multi-spectral (MS) image consists of several bands and
each band is a 2D image slice, MS images can be seen as 3D data. Thus, we use
the previously proposed VolumeNet to fuse HR panchromatic (PAN) images and
bicubic interpolated MS images. Because the proposed 3D VolumeNet can
effectively improve the accuracy by expanding the receptive field of the model,
and due to its lightweight structure, we can achieve better performance against
the existing method without purchasing a large number of remote sensing images
for training. In addition, VolumeNet can restore the high-frequency information
lost in the HR MR image as much as possible, reducing the difficulty of feature
extraction in the following step: 2.5D texture transfer. As one of the latest
technologies, deep learning-based texture transfer has been demonstrated to
effectively and efficiently improve the visual performance and quality
evaluation indicators of image reconstruction. Different from the texture
transfer processing of RGB image, we use HR PAN images as the reference images
and perform texture transfer for each frequency band of MS images, which is
named 2.5D texture transfer. The experimental results show that the proposed
method outperforms the existing methods in terms of objective accuracy
assessment, method efficiency, and visual subjective evaluation.
- Abstract（参考訳）: 近年、畳み込みニューラルネットワーク(CNN)は、高スペクトルパンシャーピングのための単一像SRにおいて有望な結果を得た。
しかし、より少ないパラメータと短い予測時間でCNNの表現能力を向上することは困難で重要な課題である。
本稿では,前述した3次元cnnモデルボリュームネットと2.5次元テクスチャ転送法を組み合わせて,他のモード分解能(hr)画像を用いたマルチスペクトル画像融合法を提案する。
マルチスペクトル(MS)画像は複数のバンドで構成され、各バンドは2D画像スライスであるため、MS画像は3Dデータとして見ることができる。
そこで,提案したVolumeNetを用いて,HRパンクロマティック(PAN)画像とバイキュビック補間MS画像とを融合する。
提案する3次元ボリュームネットは,モデルの受容領域を拡大することにより,精度を効果的に向上できるため,その軽量な構造により,多数のリモートセンシング画像を購入することなく,既存の手法よりも優れた性能を実現することができる。
さらに、VolumeNetはHR MR画像で失われた高周波情報を可能な限り復元することができ、次のステップで特徴抽出の困難さを軽減することができる。
最新の技術の一つとして、画像再構成の視覚的性能と品質評価指標を効果的かつ効率的に改善する深層学習に基づくテクスチャ転送が実証されている。
RGB画像のテクスチャ転送処理とは異なり、HR PAN画像を基準画像として使用し、2.5Dテクスチャ転送と呼ばれるMS画像の各周波数帯域に対してテクスチャ転送を行う。
実験の結果,提案手法は客観的精度評価,手法効率,視覚的主観的評価において,既存手法よりも優れていた。
関連論文リスト
- GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - TP3M: Transformer-based Pseudo 3D Image Matching with Reference Image [0.9831489366502301]
トランスフォーマーを用いた擬似3次元画像マッチング手法を提案する。
ソース画像から抽出した2D特徴を参照画像の助けを借りて3D特徴にアップグレードし、目的地画像から抽出した2D特徴にマッチする。
複数のデータセットに対する実験結果から, 提案手法は, ホモグラフィ推定, ポーズ推定, 視覚的ローカライゼーションのタスクにおいて, 最先端の課題を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-05-14T08:56:09Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。
画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-10-23T15:02:23Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D
Microscopic Imaging using Digital Holography [3.4635026053111484]
デジタルホログラフィー(Digital holography)は、平面波面を持つレーザービームを物体に放出し、ホログラムと呼ばれる回折波形の強度を測定する3Dイメージング技術である。
近年,より正確なホログラフィック処理に深層学習(DL)法が用いられている。
本稿では, 識別ネットワークを用いて, 復元品質のセマンティック尺度を実現する, 生成的敵ネットワークに基づく新しいDLアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:13:45Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳（メタデータ） (2021-09-06T16:00:20Z) - Dense Dilated UNet: Deep Learning for 3D Photoacoustic Tomography Image
Reconstruction [1.5749416770494706]
3次元光音響トモグラフィ(PAT)における人工物補正のための改良畳み込みニューラルネットワーク (CNN) アーキテクチャ Dense Dilation UNet (DD-UNET) を提案する。
FD-UNet (Fully Dense UNet) のマルチスケール構造類似度指標で測定した画像品質の観点から,提案したCNNを比較した。
その結果、DD-NetはFD-UNetを一貫して上回り、より小さな画像の特徴をより確実に再構築できることを示した。
論文 参考訳（メタデータ） (2021-04-07T14:01:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。