論文の概要: Learning Mutual Modulation for Self-Supervised Cross-Modal Super-Resolution

• arxiv url: http://arxiv.org/abs/2207.09156v1
• Date: Tue, 19 Jul 2022 09:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:54:56.292334
• Title: Learning Mutual Modulation for Self-Supervised Cross-Modal Super-Resolution
• Title（参考訳）: 自己監督型クロスモーダル超解法のための相互変調学習
• Authors: Xiaoyu Dong, Naoto Yokoya, Longguang Wang, Tatsumi Uezato
• Abstract要約: 自己監督型クロスモーダル超解像(SR)は、ペア化されたトレーニングデータを取得することの難しさを克服することができる。 異なるモードからの低解像度(LR)ソースと高解像度(HR)ガイドイメージのみが利用可能である。 本稿では、相互変調戦略によりタスクに取り組む相互変調SR(MMSR)モデルを提案する。
• 参考スコア（独自算出の注目度）: 23.303360767878925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised cross-modal super-resolution (SR) can overcome the difficulty of acquiring paired training data, but is challenging because only low-resolution (LR) source and high-resolution (HR) guide images from different modalities are available. Existing methods utilize pseudo or weak supervision in LR space and thus deliver results that are blurry or not faithful to the source modality. To address this issue, we present a mutual modulation SR (MMSR) model, which tackles the task by a mutual modulation strategy, including a source-to-guide modulation and a guide-to-source modulation. In these modulations, we develop cross-domain adaptive filters to fully exploit cross-modal spatial dependency and help induce the source to emulate the resolution of the guide and induce the guide to mimic the modality characteristics of the source. Moreover, we adopt a cycle consistency constraint to train MMSR in a fully self-supervised manner. Experiments on various tasks demonstrate the state-of-the-art performance of our MMSR.
• Abstract（参考訳）: 自己教師付きクロスモーダル・スーパーレゾリューション(sr)はペアトレーニングデータの取得の難しさを克服できるが、低解像度(lr)ソースと高解像度(hr)ガイド画像のみが異なるモダリティを持つため、難しい。 既存の手法では、LR空間における擬似的あるいは弱い監督を利用して、ソースのモダリティに不忠実であるか、曖昧な結果をもたらす。 この問題に対処するために、ソース・ツー・ガイドの変調とガイド・ツー・ソースの変調を含む相互変調戦略によりタスクに取り組む相互変調SR(MMSR)モデルを提案する。 これらの変調では、クロスモーダル空間依存性を十分に活用し、ガイドの解像度をエミュレートするソースを誘導し、ガイドにソースのモダリティ特性を模倣させるクロスドメイン適応フィルタを開発する。 さらに,MMSRを完全自己教師型で訓練するために,サイクル整合性制約を採用する。 各種タスクの実験により,MMSRの最先端性能が示された。

関連論文リスト

• AdaDiffSR: Adaptive Region-aware Dynamic Acceleration Diffusion Model for Real-World Image Super-Resolution [14.2500092850787]
  拡散モデル(DM)は、単一画像の超解像や他の画像間翻訳タスクにおいて有望な結果を示している。 我々は、動的時間ステップサンプリング戦略(DTSS)を備えたDMsベースの超解像パイプラインであるAdaDiffSRを提案する。 実験の結果,AdaDiffSR は現在の最先端の DM ベースの SR 手法よりも高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T10:29:18Z)
• Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
  トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。 具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。 本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-07T18:18:54Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Low-Res Leads the Way: Improving Generalization for Super-Resolution by Self-Supervised Learning [45.13580581290495]
  本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。 提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。 私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
  論文  参考訳（メタデータ） (2024-03-05T02:29:18Z)
• ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution [60.90817228730133]
  単一画像超解像(SISR)は、与えられた低解像度(LR)画像を高解像度(HR)にアップサンプリングすることを目的とした課題である。 近年のアプローチは、単純化されたダウンサンプリング演算子によって劣化したシミュレーションLR画像に基づいて訓練されている。 Invertible Scale-Conditional Function (ICF) を提案する。これは入力画像をスケールし、異なるスケール条件で元の入力を復元する。
  論文  参考訳（メタデータ） (2023-07-24T12:42:45Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• Learning Resolution-Adaptive Representations for Cross-Resolution Person Re-Identification [49.57112924976762]
  低解像度(LR)クエリIDイメージと高解像度(HR)ギャラリーイメージとの整合性を実現する。 実際のカメラとの違いにより、クエリ画像が分解能の低下に悩まされることがしばしばあるため、これは困難かつ実用的な問題である。 本稿では,問合せ画像の解像度に適応する動的計量を用いて,HRとLRの画像を直接比較するためのSRフリーなパラダイムについて検討する。
  論文  参考訳（メタデータ） (2022-07-09T03:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。