論文の概要: Learning Mutual Modulation for Self-Supervised Cross-Modal
Super-Resolution
- arxiv url: http://arxiv.org/abs/2207.09156v1
- Date: Tue, 19 Jul 2022 09:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:54:56.292334
- Title: Learning Mutual Modulation for Self-Supervised Cross-Modal
Super-Resolution
- Title(参考訳): 自己監督型クロスモーダル超解法のための相互変調学習
- Authors: Xiaoyu Dong, Naoto Yokoya, Longguang Wang, Tatsumi Uezato
- Abstract要約: 自己監督型クロスモーダル超解像(SR)は、ペア化されたトレーニングデータを取得することの難しさを克服することができる。
異なるモードからの低解像度(LR)ソースと高解像度(HR)ガイドイメージのみが利用可能である。
本稿では、相互変調戦略によりタスクに取り組む相互変調SR(MMSR)モデルを提案する。
- 参考スコア(独自算出の注目度): 23.303360767878925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised cross-modal super-resolution (SR) can overcome the difficulty
of acquiring paired training data, but is challenging because only
low-resolution (LR) source and high-resolution (HR) guide images from different
modalities are available. Existing methods utilize pseudo or weak supervision
in LR space and thus deliver results that are blurry or not faithful to the
source modality. To address this issue, we present a mutual modulation SR
(MMSR) model, which tackles the task by a mutual modulation strategy, including
a source-to-guide modulation and a guide-to-source modulation. In these
modulations, we develop cross-domain adaptive filters to fully exploit
cross-modal spatial dependency and help induce the source to emulate the
resolution of the guide and induce the guide to mimic the modality
characteristics of the source. Moreover, we adopt a cycle consistency
constraint to train MMSR in a fully self-supervised manner. Experiments on
various tasks demonstrate the state-of-the-art performance of our MMSR.
- Abstract(参考訳): 自己教師付きクロスモーダル・スーパーレゾリューション(sr)はペアトレーニングデータの取得の難しさを克服できるが、低解像度(lr)ソースと高解像度(hr)ガイド画像のみが異なるモダリティを持つため、難しい。
既存の手法では、LR空間における擬似的あるいは弱い監督を利用して、ソースのモダリティに不忠実であるか、曖昧な結果をもたらす。
この問題に対処するために、ソース・ツー・ガイドの変調とガイド・ツー・ソースの変調を含む相互変調戦略によりタスクに取り組む相互変調SR(MMSR)モデルを提案する。
これらの変調では、クロスモーダル空間依存性を十分に活用し、ガイドの解像度をエミュレートするソースを誘導し、ガイドにソースのモダリティ特性を模倣させるクロスドメイン適応フィルタを開発する。
さらに,MMSRを完全自己教師型で訓練するために,サイクル整合性制約を採用する。
各種タスクの実験により,MMSRの最先端性能が示された。
関連論文リスト
- Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。
AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。
AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-12T11:48:49Z) - Low-Res Leads the Way: Improving Generalization for Super-Resolution by
Self-Supervised Learning [45.13580581290495]
本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。
提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。
私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
論文 参考訳(メタデータ) (2024-03-05T02:29:18Z) - ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised
Real-world Single Image Super-Resolution [60.90817228730133]
単一画像超解像(SISR)は、与えられた低解像度(LR)画像を高解像度(HR)にアップサンプリングすることを目的とした課題である。
近年のアプローチは、単純化されたダウンサンプリング演算子によって劣化したシミュレーションLR画像に基づいて訓練されている。
Invertible Scale-Conditional Function (ICF) を提案する。これは入力画像をスケールし、異なるスケール条件で元の入力を復元する。
論文 参考訳(メタデータ) (2023-07-24T12:42:45Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳(メタデータ) (2023-03-29T07:02:20Z) - Learning Detail-Structure Alternative Optimization for Blind
Super-Resolution [69.11604249813304]
そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。
DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。
本手法は既存の手法に対して最先端の手法を実現する。
論文 参考訳(メタデータ) (2022-12-03T14:44:17Z) - Learning Resolution-Adaptive Representations for Cross-Resolution Person
Re-Identification [49.57112924976762]
低解像度(LR)クエリIDイメージと高解像度(HR)ギャラリーイメージとの整合性を実現する。
実際のカメラとの違いにより、クエリ画像が分解能の低下に悩まされることがしばしばあるため、これは困難かつ実用的な問題である。
本稿では,問合せ画像の解像度に適応する動的計量を用いて,HRとLRの画像を直接比較するためのSRフリーなパラダイムについて検討する。
論文 参考訳(メタデータ) (2022-07-09T03:49:51Z) - Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal
Difference and Successor Representation [32.80370188601152]
本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。
提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
論文 参考訳(メタデータ) (2021-12-30T18:21:53Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。