論文の概要: PAN-Crafter: Learning Modality-Consistent Alignment for PAN-Sharpening

• arxiv url: http://arxiv.org/abs/2505.23367v1
• Date: Thu, 29 May 2025 11:46:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.837078
• Title: PAN-Crafter: Learning Modality-Consistent Alignment for PAN-Sharpening
• Title（参考訳）: PAN-Crafter: Modality-Consistent Alignment for PAN-Sharpening
• Authors: Jeonghyeok Do, Sungpyo Kim, Geunhyuk Youk, Jaehyup Lee, Munchurl Kim,
• Abstract要約: 本稿では,Modality-ConsistentアライメントフレームワークであるPAN-Crafterを提案する。 Modality-Adaptive Restruction (MAR)は、HRMSとPANの画像を共同で再構築する。 複数のベンチマークデータセットの実験では、PAN-Crafterがすべてのメトリクスで最新の最先端メソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 20.43260906326048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: PAN-sharpening aims to fuse high-resolution panchromatic (PAN) images with low-resolution multi-spectral (MS) images to generate high-resolution multi-spectral (HRMS) outputs. However, cross-modality misalignment -- caused by sensor placement, acquisition timing, and resolution disparity -- induces a fundamental challenge. Conventional deep learning methods assume perfect pixel-wise alignment and rely on per-pixel reconstruction losses, leading to spectral distortion, double edges, and blurring when misalignment is present. To address this, we propose PAN-Crafter, a modality-consistent alignment framework that explicitly mitigates the misalignment gap between PAN and MS modalities. At its core, Modality-Adaptive Reconstruction (MARs) enables a single network to jointly reconstruct HRMS and PAN images, leveraging PAN's high-frequency details as auxiliary self-supervision. Additionally, we introduce Cross-Modality Alignment-Aware Attention (CM3A), a novel mechanism that bidirectionally aligns MS texture to PAN structure and vice versa, enabling adaptive feature refinement across modalities. Extensive experiments on multiple benchmark datasets demonstrate that our PAN-Crafter outperforms the most recent state-of-the-art method in all metrics, even with 50.11$\times$ faster inference time and 0.63$\times$ the memory size. Furthermore, it demonstrates strong generalization performance on unseen satellite datasets, showing its robustness across different conditions.
• Abstract（参考訳）: pan-sharpeningは、高分解能パノクロマトグラフィー(PAN)画像を低分解能マルチスペクトル(MS)画像と融合して高分解能マルチスペクトル(HRMS)出力を生成することを目的としている。 しかし、センサーの配置、取得タイミング、解像度の相違による、モダリティ間の不一致は、根本的な課題を引き起こします。 従来のディープラーニング手法では、ピクセル単位でのアライメントが完璧であり、画素単位の再構成損失に依存するため、スペクトル歪み、二重エッジ、誤修正が存在する場合のぼやけが生じる。 そこで我々はPAN-Crafterを提案する。PAN-Crafterは、PANとMSのモダリティの相違を明示的に緩和する、モダリティに一貫性のあるアライメントフレームワークである。 モダリティ・アダプティブ・レコンストラクション(MAR)は、単一のネットワークでHRMSとPANの画像を共同で再構築し、PANの高周波の詳細を補助的なセルフスーパービジョンとして活用する。 さらに,MSテクスチャをPAN構造に双方向に整列させる機構であるCross-Modality Alignment-Aware Attention (CM3A)を導入する。 複数のベンチマークデータセットに対する大規模な実験によると、私たちのPAN-Crafterは、50.11$\times$高速な推論時間と0.63$\times$メモリサイズであっても、すべてのメトリクスにおいて最新の最先端メソッドよりもパフォーマンスが優れている。 さらに、目に見えない衛星データセットに対して強力な一般化性能を示し、その頑丈さを異なる条件で示す。

関連論文リスト

• AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [58.67129770371016]
  シーン認識最適化のためのテキストメタデータを組み込むことにより、IRSTDパラダイムを再定義する新しいIRSTDフレームワークを提案する。 AuxDetは最先端の手法を一貫して上回り、堅牢性と正確性を改善する上で補助情報の重要な役割を検証している。
  論文  参考訳（メタデータ） (2025-05-21T07:02:05Z)
• Feature Alignment with Equivariant Convolutions for Burst Image Super-Resolution [52.55429225242423]
  本稿では,同変畳み込みに基づくアライメントを特徴とするBurst Image Super-Resolution (BISR) のための新しいフレームワークを提案する。 これにより、アライメント変換は画像領域の明示的な監督を通じて学習でき、特徴領域に容易に適用できる。 BISRベンチマークの実験は、定量的メトリクスと視覚的品質の両方において、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2025-03-11T11:13:10Z)
• Hipandas: Hyperspectral Image Joint Denoising and Super-Resolution by Image Fusion with the Panchromatic Image [51.333064033152304]
  最近打ち上げられた衛星は、HSIとパンクロマティック(PAN)画像の同時取得が可能になった。 Hipandasは、ノイズの多い低分解能HSIと高分解能PAN画像からHRHS画像を再構成する新しい学習パラダイムである。
  論文  参考訳（メタデータ） (2024-12-05T14:39:29Z)
• Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
  展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。 本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。 PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-09-04T13:05:00Z)
• MSP-MVS: Multi-Granularity Segmentation Prior Guided Multi-View Stereo [8.303396507129266]
  MSP-MVSは,マルチグラニュラリティセグメンテーションを導入する手法である。 相関信頼画素の等価分布と分解クラスタリングを実装した。 また,グローバルな最小マッチングコストの特定を支援するために,差分サンプリングの相乗的3次元最適化も導入する。
  論文  参考訳（メタデータ） (2024-07-27T19:00:44Z)
• CMT: Cross Modulation Transformer with Hybrid Loss for Pansharpening [14.459280238141849]
  Pansharpeningは、高分解能パンクロマティック(PAN)とマルチスペクトル(MS)画像を組み合わせることで、リモートセンシング画像(RSI)の品質を高めることを目的としている。 従来の手法では、空間情報やスペクトル情報を改善するためにPANとMSの画像を最適に融合させるのに苦労していた。 注意機構を改良する先駆的手法であるCross Modulation Transformer(CMT)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T13:55:44Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening [60.89777029184023]
  Pansharpeningは、登録された高分解能パノクロマトグラフィー画像(PAN)と低分解能ハイパースペクトル画像(LR-HSI)を融合して、高スペクトル・空間解像度の高分解能HSIを生成することを目的としている。 既存のパンシャルペン法は、HRテクスチャの特徴をPANからLR-HSIに伝達するアテンション機構を無視し、空間的およびスペクトル的歪みをもたらす。 本稿では, LR-HSI と PAN の特徴をそれぞれ変換器のクエリとキーとして定式化する HyperTransformer という, パンシャーピングのための新しいアテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-03-04T18:59:08Z)
• SIPSA-Net: Shift-Invariant Pan Sharpening with Moving Object Alignment for Satellite Imagery [36.24121979886052]
  Pan-sharpeningは、高分解能(HR)パンクロマティック(PAN)画像とその対応する低分解能(LR)マルチスペクトル(MS)画像をマージしてHR-MSおよびpan-sharpened画像を作成するプロセスです。 異なるセンサーの位置、特性、取得時間のために、PANとMSの画像ペアは、しばしばさまざまな量の不整合を有する傾向があります。 本研究では,移動対象領域の大きな不整合を考慮した移動対象アライメント(SIPSA-Net)によるシフト不変パンスハーピングを提案する。
  論文  参考訳（メタデータ） (2021-05-06T02:27:50Z)
• Fast and High-Quality Blind Multi-Spectral Image Pansharpening [48.68143888901669]
  ブラインドパンスハーピングへの迅速なアプローチを提案し、最新の画像再構築品質を実現します。 速い盲目のpansharpeningを達成するために、私達はぼかしのカーネルおよびHRMSのイメージの解決を分離します。 アルゴリズムは計算時間と再構成品質の両面で最先端のモデルベースを上回っている。
  論文  参考訳（メタデータ） (2021-03-17T23:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。