論文の概要: Learning from History: Task-agnostic Model Contrastive Learning for
Image Restoration
- arxiv url: http://arxiv.org/abs/2309.06023v1
- Date: Tue, 12 Sep 2023 07:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 14:00:10.118946
- Title: Learning from History: Task-agnostic Model Contrastive Learning for
Image Restoration
- Title(参考訳): 歴史から学ぶ:画像復元のためのタスク非依存モデルコントラスト学習
- Authors: Gang Wu, Junjun Jiang, Kui Jiang, Xianming Liu
- Abstract要約: コントラスト学習は、ハイレベル視覚タスクの主流パラダイムとして現れてきた。
対象モデルから直接負のサンプルを適応的に生成するための革新的な手法を提案する。
我々のアプローチはタスクに依存しない汎用的であり、既存のイメージ復元手法やタスクと互換性がある。
- 参考スコア(独自算出の注目度): 79.04007257606862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has emerged as a prevailing paradigm for high-level
vision tasks, which, by introducing properly negative samples, has also been
exploited for low-level vision tasks to achieve a compact optimization space to
account for their ill-posed nature. However, existing methods rely on manually
predefined, task-oriented negatives, which often exhibit pronounced
task-specific biases. In this paper, we propose a innovative approach for the
adaptive generation of negative samples directly from the target model itself,
called ``learning from history``. We introduce the Self-Prior guided Negative
loss for image restoration (SPNIR) to enable this approach. Our approach is
task-agnostic and generic, making it compatible with any existing image
restoration method or task. We demonstrate the effectiveness of our approach by
retraining existing models with SPNIR. The results show significant
improvements in image restoration across various tasks and architectures. For
example, models retrained with SPNIR outperform the original FFANet and
DehazeFormer by 3.41 dB and 0.57 dB on the RESIDE indoor dataset for image
dehazing. Similarly, they achieve notable improvements of 0.47 dB on SPA-Data
over IDT for image deraining and 0.12 dB on Manga109 for a 4x scale
super-resolution over lightweight SwinIR, respectively. Code and retrained
models are available at
https://github.com/Aitical/Task-agnostic_Model_Contrastive_Learning_Image_Restoration.
- Abstract(参考訳): コントラスト学習は、適切な負のサンプルを導入することで、その不適切な性質を考慮に入れたコンパクトな最適化空間を実現するために、低レベルの視覚タスクにも活用されている。
しかし、既存の手法は手動で定義されたタスク指向のネガティブに依存しており、しばしばタスク固有のバイアスが顕著に現れる。
本稿では,対象モデル自体から直接負のサンプルを適応的に生成する「歴史からの学習」という,革新的な手法を提案する。
本稿では,画像復元のための自己選択型負の損失(SPNIR)を導入する。
我々のアプローチはタスク非依存で汎用的で、既存の画像復元メソッドやタスクと互換性がある。
既存のモデルをSPNIRで再学習することで,提案手法の有効性を示す。
その結果,様々なタスクやアーキテクチャにおける画像復元の大幅な改善が示された。
例えば、SPNIRで再訓練されたモデルは、オリジナルのFFANetとDehazeFormerを3.41dB、0.57dBで上回っている。
同様に、SPA-Data の 0.47 dB と IDT の 0.12 dB を、Manga109 の 0.12 dB を、それぞれ軽量の SwinIR よりも 4倍の解像度で改善した。
コードと再トレーニングされたモデルはhttps://github.com/Aitical/Task-agnostic_Model_Contrastive_Learning_Image_Restorationで利用可能だ。
関連論文リスト
- Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
論文 参考訳(メタデータ) (2024-04-15T12:34:21Z) - SeNM-VAE: Semi-Supervised Noise Modeling with Hierarchical Variational Autoencoder [13.453138169497903]
SeNM-VAEは、ペアとアンペアの両方のデータセットを利用して、現実的な劣化データを生成する半教師付きノイズモデリング手法である。
実世界の画像認識と超分解能タスクのためのペアトレーニングサンプルを生成するために,本手法を用いた。
提案手法は, 合成劣化画像の品質を, 他の不対とペアのノイズモデリング法と比較して向上させる。
論文 参考訳(メタデータ) (2024-03-26T09:03:40Z) - Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳(メタデータ) (2023-07-15T04:48:35Z) - A Practical Contrastive Learning Framework for Single-Image
Super-Resolution [51.422185656787285]
コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。
SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。
既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
論文 参考訳(メタデータ) (2021-11-27T15:42:12Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z) - Incorporating Reinforced Adversarial Learning in Autoregressive Image
Generation [39.55651747758391]
本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。
RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。
提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
論文 参考訳(メタデータ) (2020-07-20T08:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。