論文の概要: Frequency-Adaptive Pan-Sharpening with Mixture of Experts

• arxiv url: http://arxiv.org/abs/2401.02151v1
• Date: Thu, 4 Jan 2024 08:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 15:34:11.190715
• Title: Frequency-Adaptive Pan-Sharpening with Mixture of Experts
• Title（参考訳）: 専門家の混合による周波数適応パンシャープ化
• Authors: Xuanhua He, Keyu Yan, Rui Li, Chengjun Xie, Jie Zhang, Man Zhou
• Abstract要約: パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。 本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
• 参考スコア（独自算出の注目度）: 22.28680499480492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pan-sharpening involves reconstructing missing high-frequency information in multi-spectral images with low spatial resolution, using a higher-resolution panchromatic image as guidance. Although the inborn connection with frequency domain, existing pan-sharpening research has not almost investigated the potential solution upon frequency domain. To this end, we propose a novel Frequency Adaptive Mixture of Experts (FAME) learning framework for pan-sharpening, which consists of three key components: the Adaptive Frequency Separation Prediction Module, the Sub-Frequency Learning Expert Module, and the Expert Mixture Module. In detail, the first leverages the discrete cosine transform to perform frequency separation by predicting the frequency mask. On the basis of generated mask, the second with low-frequency MOE and high-frequency MOE takes account for enabling the effective low-frequency and high-frequency information reconstruction. Followed by, the final fusion module dynamically weights high-frequency and low-frequency MOE knowledge to adapt to remote sensing images with significant content variations. Quantitative and qualitative experiments over multiple datasets demonstrate that our method performs the best against other state-of-the-art ones and comprises a strong generalization ability for real-world scenes. Code will be made publicly at \url{https://github.com/alexhe101/FAME-Net}.
• Abstract（参考訳）: パンシャーピングは、高解像度のパンクロマティック画像を用いて、空間解像度の低いマルチスペクトル画像において欠落する高周波情報を再構成する。 周波数領域との生まれつきの関連性はあるものの、既存のパンシャーピング研究は周波数領域に対する潜在的な解決策をほとんど研究していない。 そこで本研究では,適応周波数分離予測モジュール,サブ周波数学習エキスパートモジュール,エキスパート混合モジュールの3つの主成分からなる,パンシャープ化のための新しい周波数適応混合学習フレームワークを提案する。 詳しくは、第1は離散コサイン変換を利用して周波数マスクを予測して周波数分離を行う。 生成マスクに基づいて、第2の低周波MOEおよび高周波MOEは、有効な低周波・高周波情報再構成を可能にする。 追従して、最終融合モジュールは、高周波および低周波MOE知識を動的に重み付け、かなりの内容の異なるリモートセンシング画像に適応する。 複数のデータセットに対する定量的および定性的な実験により,本手法は他の最先端の手法に対して最善を尽くし,実世界のシーンに対して強力な一般化能力を有することが示された。 コードは \url{https://github.com/alexhe101/FAME-Net} で公開される。

関連論文リスト

• Wavelet-Assisted Multi-Frequency Attention Network for Pansharpening [15.77836708727337]
  Pansharpeningは、高分解能パンクロマティック(PAN)画像と低分解能マルチスペクトル(LRMS)画像を組み合わせて高分解能マルチスペクトル(HRMS)画像を作成することを目的としている。 周波数領域におけるパンシャルペンは明らかな利点があるが、既存のほとんどの手法は空間領域でのみ動作するか、周波数領域の利点を完全に活用できないかのいずれかである。 本稿では、ウェーブレット変換を利用したMFFA(Multi-Frequency Fusion Attention)を提案する。
  論文  参考訳（メタデータ） (2025-02-07T13:15:49Z)
• Sharpening Neural Implicit Functions with Frequency Consolidation Priors [53.6277160912059]
  符号付き距離関数 (Signed Distance Function, SDF) は、高忠実度3D表面を表現するために重要な暗黙の表現である。 現在の手法は主にニューラルネットワークを利用して、署名された3Dポイントクラウドやマルチビューイメージなど、さまざまな監督機関からSDFを学ぶ。 本研究では、高周波成分を回収し、よりシャープで完全な表面を追求することにより、低周波SDF観測を高速化する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T16:18:46Z)
• Boosting ViT-based MRI Reconstruction from the Perspectives of Frequency Modulation, Spatial Purification, and Scale Diversification [6.341065683872316]
  ViTは、画像の高周波成分を捉えるのに苦労し、局所的なテクスチャやエッジ情報を検出する能力を制限する。 コンテンツ中の関連トークンと非関連トークンのうち、MSA(Multi-head self-attention)を計算する。 ViTsのフィードフォワードネットワークは、画像復元に重要なマルチスケール情報をモデル化することができない。
  論文  参考訳（メタデータ） (2024-12-14T10:03:08Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing [15.847332787718852]
  本稿では,MSFA対応変圧器ネットワーク(FDM-Net)を新たに提案する。 Maformerの利点は、データに存在するMSFA情報と非ローカル依存関係を活用することができることである。 実験の結果、FDM-Netは6dB PSNRで最先端の手法より優れており、高忠実度の詳細を再構築することに成功した。
  論文  参考訳（メタデータ） (2023-03-23T16:27:30Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
  光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。 本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。 低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
  論文  参考訳（メタデータ） (2021-08-03T12:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。