論文の概要: Metric Learning based Interactive Modulation for Real-World
Super-Resolution
- arxiv url: http://arxiv.org/abs/2205.05065v1
- Date: Tue, 10 May 2022 17:46:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-14 10:12:24.384006
- Title: Metric Learning based Interactive Modulation for Real-World
Super-Resolution
- Title(参考訳): 実世界の超解像のためのメトリック学習に基づく対話型変調
- Authors: Chong Mou, Yanze Wu, Xintao Wang, Chao Dong, Jian Zhang, Ying Shan
- Abstract要約: 実世界超解法(MM-RealSR)のためのメトリック学習に基づく対話型変調を提案する。
具体的には,現実シナリオにおける劣化レベルを推定するための教師なし劣化推定手法を提案する。
提案したMM-RealSRは実世界の超解像における優れた変調と復元性能を実現する。
- 参考スコア(独自算出の注目度): 30.94287747415486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive image restoration aims to restore images by adjusting several
controlling coefficients, which determine the restoration strength. Existing
methods are restricted in learning the controllable functions under the
supervision of known degradation types and levels. They usually suffer from a
severe performance drop when the real degradation is different from their
assumptions. Such a limitation is due to the complexity of real-world
degradations, which can not provide explicit supervision to the interactive
modulation during training. However, how to realize the interactive modulation
in real-world super-resolution has not yet been studied. In this work, we
present a Metric Learning based Interactive Modulation for Real-World
Super-Resolution (MM-RealSR). Specifically, we propose an unsupervised
degradation estimation strategy to estimate the degradation level in real-world
scenarios. Instead of using known degradation levels as explicit supervision to
the interactive mechanism, we propose a metric learning strategy to map the
unquantifiable degradation levels in real-world scenarios to a metric space,
which is trained in an unsupervised manner. Moreover, we introduce an anchor
point strategy in the metric learning process to normalize the distribution of
metric space. Extensive experiments demonstrate that the proposed MM-RealSR
achieves excellent modulation and restoration performance in real-world
super-resolution. Codes are available at
https://github.com/TencentARC/MM-RealSR.
- Abstract(参考訳): インタラクティブ画像復元は,復元強度を決定する複数の制御係数を調整して画像復元を目標とする。
既存の方法は、既知の劣化タイプやレベルを監督した制御可能な関数の学習に制限される。
彼らは通常、実際の劣化が仮定と異なる場合、深刻なパフォーマンス低下に苦しむ。
このような制限は、実世界の劣化の複雑さのためであり、トレーニング中の対話的変調を明示的に監視することはできない。
しかし、現実の超解像におけるインタラクティブな変調を実現する方法はまだ研究されていない。
本稿では,MM-RealSR(Metric Learning based Interactive Modulation for Real-World Super-Resolution)を提案する。
具体的には,現実シナリオにおける劣化レベルを推定するための教師なし劣化推定手法を提案する。
対話型メカニズムの明示的な監督として既知の劣化レベルを使用する代わりに、実世界のシナリオにおける不定量的な劣化レベルを、教師なしの方法で訓練された計量空間にマッピングする計量学習戦略を提案する。
さらに,計量空間の分布を正規化するために,計量学習プロセスにおいてアンカーポイント戦略を導入する。
MM-RealSRは実世界の超解像において優れた変調と復元性能が得られることを示した。
コードはhttps://github.com/TencentARC/MM-RealSRで公開されている。
関連論文リスト
- Low-Res Leads the Way: Improving Generalization for Super-Resolution by
Self-Supervised Learning [45.13580581290495]
本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。
提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。
私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
論文 参考訳(メタデータ) (2024-03-05T02:29:18Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [22.842308869723738]
我々は, (i) 対照的な教師なし学習と (ii) 介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は現状のモデルベースおよびモデルフリーのRL法よりも優れており,iGibsonベンチマークで評価された分布外点ナビゲーションタスクに大きく貢献する。
論文 参考訳(メタデータ) (2023-12-14T15:53:07Z) - Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。
我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。
本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
論文 参考訳(メタデータ) (2023-10-08T06:10:09Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Crafting Training Degradation Distribution for the
Accuracy-Generalization Trade-off in Real-World Super-Resolution [53.0437282872811]
そこで本研究では,少数の参照画像を用いたクラフトトレーニング劣化分布の新しい手法を提案する。
提案手法は,実世界のアプリケーションにおける一般化能力を保ちながら,テスト画像の性能を著しく向上することを示す。
論文 参考訳(メタデータ) (2023-05-29T14:22:48Z) - Learning from Multi-Perception Features for Real-Word Image
Super-resolution [87.71135803794519]
入力画像の複数の知覚的特徴を利用する新しいSR手法MPF-Netを提案する。
本稿では,MPFEモジュールを組み込んで,多様な知覚情報を抽出する手法を提案する。
また、モデルの学習能力を向上する対照的な正規化項(CR)も導入する。
論文 参考訳(メタデータ) (2023-05-26T07:35:49Z) - Learning Mutual Modulation for Self-Supervised Cross-Modal
Super-Resolution [23.303360767878925]
自己監督型クロスモーダル超解像(SR)は、ペア化されたトレーニングデータを取得することの難しさを克服することができる。
異なるモードからの低解像度(LR)ソースと高解像度(HR)ガイドイメージのみが利用可能である。
本稿では、相互変調戦略によりタスクに取り組む相互変調SR(MMSR)モデルを提案する。
論文 参考訳(メタデータ) (2022-07-19T09:54:17Z) - Robust Policies via Mid-Level Visual Representations: An Experimental
Study in Manipulation and Navigation [115.4071729927011]
エンド・ツー・エンドのRLフレームワークにおいて,中間レベルの視覚表現を汎用的かつ容易に認識可能な知覚状態として用いることの効果について検討した。
一般化を支援し、サンプルの複雑さを改善し、最終的なパフォーマンスを高めることを示します。
実際には、ドメインのランダム化やスクラッチからの学習が失敗したタスクのポリシーをうまくトレーニングするために、中間レベルの表現が使用できる。
論文 参考訳(メタデータ) (2020-11-13T00:16:05Z) - Real-world Person Re-Identification via Degradation Invariance Learning [111.86722193694462]
現実のシナリオにおける人物再識別(Re-ID)は通常、低解像度、弱い照明、ぼやけ、悪天候などの様々な劣化要因に悩まされる。
本稿では,現実世界のRe-IDを対象とした劣化不変学習フレームワークを提案する。
自己教師付き不整合表現学習戦略を導入することにより,個人性に関連する頑健な特徴を同時に抽出することができる。
論文 参考訳(メタデータ) (2020-04-10T07:58:50Z) - Self-supervised Equivariant Attention Mechanism for Weakly Supervised
Semantic Segmentation [93.83369981759996]
本稿では,自己監督同変注意機構(SEAM)を提案する。
本手法は,完全教師付きセマンティックセグメンテーションにおいて,同値が暗黙の制約であることを示す。
本稿では,ネットワーク学習のための自己スーパービジョンを提供するために,様々な変換画像から予測されたCAMの整合性正則化を提案する。
論文 参考訳(メタデータ) (2020-04-09T14:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。