論文の概要: Learned Image Reasoning Prior Penetrates Deep Unfolding Network for
Panchromatic and Multi-Spectral Image Fusion
- arxiv url: http://arxiv.org/abs/2308.16083v1
- Date: Wed, 30 Aug 2023 15:15:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 13:05:54.152512
- Title: Learned Image Reasoning Prior Penetrates Deep Unfolding Network for
Panchromatic and Multi-Spectral Image Fusion
- Title（参考訳）: 学習画像推論は、パンクロマティックおよびマルチスペクトル画像融合のためのディープ展開ネットワークに先行する
- Authors: Man Zhou, Jie Huang, Naishan Zheng, Chongyi Li
- Abstract要約: 本稿では,パンシャーピング作業に適した画像推論を行う新しいモデル駆動型深層展開フレームワークを提案する。
我々のフレームワークは、洞察に富んだデザインでマスキングされたオートエンコーダのコンテンツ推論能力によって動機付けられている。
私たちのフレームワークのユニークな点は、全体論的学習プロセスが、パン・シャーピングタスクの根底にある固有の物理的メカニズムと明確に統合されていることです。
- 参考スコア（独自算出の注目度）: 45.28120834593148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep neural networks for pan-sharpening is commonly in a form
of black box, lacking transparency and interpretability. To alleviate this
issue, we propose a novel model-driven deep unfolding framework with image
reasoning prior tailored for the pan-sharpening task. Different from existing
unfolding solutions that deliver the proximal operator networks as the
uncertain and vague priors, our framework is motivated by the content reasoning
ability of masked autoencoders (MAE) with insightful designs. Specifically, the
pre-trained MAE with spatial masking strategy, acting as intrinsic reasoning
prior, is embedded into unfolding architecture. Meanwhile, the pre-trained MAE
with spatial-spectral masking strategy is treated as the regularization term
within loss function to constrain the spatial-spectral consistency. Such
designs penetrate the image reasoning prior into deep unfolding networks while
improving its interpretability and representation capability. The uniqueness of
our framework is that the holistic learning process is explicitly integrated
with the inherent physical mechanism underlying the pan-sharpening task.
Extensive experiments on multiple satellite datasets demonstrate the
superiority of our method over the existing state-of-the-art approaches. Code
will be released at \url{https://manman1995.github.io/}.
- Abstract（参考訳）: パンシャーピングのためのディープニューラルネットワークの成功は、一般にブラックボックスの形で行われ、透明性と解釈性に欠ける。
この問題を軽減するために,パンシャーピング作業に適した画像推論を行う新しいモデル駆動型深層展開フレームワークを提案する。
近位演算子ネットワークを不確実であいまいな優先事項として提供する既存の展開ソリューションとは異なり、このフレームワークは洞察に富んだ設計のマスキングオートエンコーダ(mae)のコンテンツ推論能力に動機づけられている。
具体的には、空間マスキング戦略を持つ事前訓練されたMAEを、本質的な推論として、展開アーキテクチャに組み込む。
一方、空間スペクトルマスキング戦略を有する事前学習されたmaeを損失関数内の正規化項として扱い、空間スペクトル一貫性を制約する。
このような設計は、その解釈性と表現能力を改善しつつ、画像推論を深く展開するネットワークに浸透させる。
私たちのフレームワークのユニークな点は、全体論的学習プロセスが、パンシャーピングタスクの根底にある固有の物理的メカニズムと明確に統合されていることです。
複数の衛星データセットに関する広範な実験は、既存の最先端のアプローチよりも優れた方法を示している。
コードは \url{https://manman1995.github.io/}でリリースされる。
関連論文リスト
- PROMPT-IML: Image Manipulation Localization with Pre-trained Foundation
Models Through Prompt Tuning [35.39822183728463]
本稿では,改ざん画像を検出するための新しいPrompt-IMLフレームワークを提案する。
人間は、意味情報と高周波情報に基づいて、画像の真偽を識別する傾向がある。
我々のモデルは8つの典型的なフェイク画像データセットでより良い性能を得ることができる。
論文 参考訳（メタデータ） (2024-01-01T03:45:07Z) - Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。
本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-25T11:53:06Z) - Empowering Low-Light Image Enhancer through Customized Learnable Priors [40.83461757842304]
そこで本稿では,学習先をカスタマイズする可能性を探る,低照度画像強調のためのパラダイムを提案する。
Masked Autoencoder(MAE)の強力な特徴表現機能によって、我々はMAEベースの照明とノイズ先行をカスタマイズする。
論文 参考訳（メタデータ） (2023-09-05T05:20:11Z) - Unlocking Feature Visualization for Deeper Networks with MAgnitude
Constrained Optimization [17.93878159391899]
解釈可能な画像を生成するためのシンプルなアプローチであるMACOについて述べる。
我々のアプローチは、質的にも定量的にも、はるかに優れた結果をもたらし、大きな最先端のニューラルネットワークのための効率的かつ解釈可能な特徴視覚化を解き放つ。
特徴可視化手法の比較のための新しいベンチマークで本手法を検証し,画像Netデータセットの全クラスを対象とした可視化結果をリリースする。
論文 参考訳（メタデータ） (2023-06-11T23:33:59Z) - DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。
このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
論文 参考訳（メタデータ） (2022-09-30T11:15:03Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳（メタデータ） (2021-10-26T17:00:16Z) - Deep Reparametrization of Multi-Frame Super-Resolution and Denoising [167.42453826365434]
本稿では,多フレーム画像復元作業によく用いられる最大後部定式化の深部再パラメータ化を提案する。
提案手法は,学習された誤差メトリックと,対象画像の潜在表現を導入することによって導かれる。
我々は、バースト復調およびバースト超解像データセットに関する包括的な実験を通して、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2021-08-18T17:57:02Z) - Explainability-aided Domain Generalization for Image Classification [0.0]
説明可能性文献から手法やアーキテクチャを適用することで、ドメインの一般化という困難な課題に対して最先端のパフォーマンスを達成できることを示す。
そこで我々は,勾配に基づくクラスアクティベーションマップを用いて学習中にネットワークが指導を受ける手法であるDivCAMを含む新しいアルゴリズムを開発し,多様な識別機能に焦点をあてる。
これらの手法は、説明可能性に加えて競合性能を提供するため、深層ニューラルネットワークアーキテクチャのロバスト性を改善するツールとして使用できると論じる。
論文 参考訳（メタデータ） (2021-04-05T02:27:01Z) - Perturbing Across the Feature Hierarchy to Improve Standard and Strict
Blackbox Attack Transferability [100.91186458516941]
我々は、ディープニューラルネットワーク(DNN)画像分類器の領域におけるブラックボックス転送に基づく敵攻撃脅威モデルを検討する。
我々は,多層摂動が可能なフレキシブルアタックフレームワークを設計し,最先端のターゲット転送性能を示す。
提案手法が既存の攻撃戦略より優れている理由を解析し,ブラックボックスモデルに対する限られたクエリが許された場合に,メソッドの拡張を示す。
論文 参考訳（メタデータ） (2020-04-29T16:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。