論文の概要: Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration

• arxiv url: http://arxiv.org/abs/2309.06023v3
• Date: Fri, 5 Jan 2024 02:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 18:04:14.031882
• Title: Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration
• Title（参考訳）: 歴史から学ぶ:画像復元のためのタスク非依存モデルコントラスト学習
• Authors: Gang Wu, Junjun Jiang, Kui Jiang, Xianming Liu
• Abstract要約: 本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。 我々のアプローチは、画像復元のためのモデルコントラストパラダイム(MCIR)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
• 参考スコア（独自算出の注目度）: 79.04007257606862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has emerged as a prevailing paradigm for high-level vision tasks, which, by introducing properly negative samples, has also been exploited for low-level vision tasks to achieve a compact optimization space to account for their ill-posed nature. However, existing methods rely on manually predefined and task-oriented negatives, which often exhibit pronounced task-specific biases. To address this challenge, our paper introduces an innovative method termed 'learning from history', which dynamically generates negative samples from the target model itself. Our approach, named Model Contrastive paradigm for Image Restoration (MCIR), rejuvenates latency models as negative models, making it compatible with diverse image restoration tasks. We propose the Self-Prior guided Negative loss (SPN) to enable it. This approach significantly enhances existing models when retrained with the proposed model contrastive paradigm. The results show significant improvements in image restoration across various tasks and architectures. For example, models retrained with SPN outperform the original FFANet and DehazeFormer by 3.41 dB and 0.57 dB on the RESIDE indoor dataset for image dehazing. Similarly, they achieve notable improvements of 0.47 dB on SPA-Data over IDT for image deraining and 0.12 dB on Manga109 for a 4x scale super-resolution over lightweight SwinIR, respectively. Code and retrained models are available at https://github.com/Aitical/MCIR.
• Abstract（参考訳）: コントラスト学習は、適切な負のサンプルを導入することで、その不適切な性質を考慮に入れたコンパクトな最適化空間を実現するために、低レベルの視覚タスクにも活用されている。 しかし、既存の手法は手動で事前定義されたタスク指向のネガティブに依存しており、しばしばタスク固有のバイアスが顕著に現れる。 この課題に対処するために,本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史から学ぶ」という革新的な手法を提案する。 我々のアプローチは、画像復元のためのモデルコントラストパラダイム(MCIR)と呼ばれ、遅延モデルをネガティブモデルとして再定義し、多様な画像復元タスクと互換性を持つ。 そこで我々は,SPN(Self-Prior Guided Negative Los)を提案する。 このアプローチは、提案したモデルコントラッシブパラダイムで再訓練された場合、既存のモデルを大幅に強化する。 その結果,様々なタスクやアーキテクチャにおける画像復元の大幅な改善が示された。 例えば、SPNで再訓練されたモデルは、オリジナルのFFANetとDehazeFormerを3.41dB、0.57dBで上回っている。 同様に、SPA-Data の 0.47 dB と IDT の 0.12 dB を、Manga109 の 0.12 dB を、それぞれ軽量の SwinIR よりも 4倍の解像度で改善した。 コードと再トレーニングされたモデルはhttps://github.com/Aitical/MCIR.comで入手できる。

関連論文リスト

• Reward Incremental Learning in Text-to-Image Generation [26.64026346266299]
  本稿では,計算オーバーヘッドを最小限に抑える方法であるReward Incremental Distillation(RID)を提案する。 実験結果から,RILシナリオにおける一貫した高次勾配生成の実現におけるRIDの有効性が示された。
  論文  参考訳（メタデータ） (2024-11-26T10:54:33Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• SeNM-VAE: Semi-Supervised Noise Modeling with Hierarchical Variational Autoencoder [13.453138169497903]
  SeNM-VAEは、ペアとアンペアの両方のデータセットを利用して、現実的な劣化データを生成する半教師付きノイズモデリング手法である。 実世界の画像認識と超分解能タスクのためのペアトレーニングサンプルを生成するために,本手法を用いた。 提案手法は, 合成劣化画像の品質を, 他の不対とペアのノイズモデリング法と比較して向上させる。
  論文  参考訳（メタデータ） (2024-03-26T09:03:40Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• A Practical Contrastive Learning Framework for Single-Image Super-Resolution [51.422185656787285]
  コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。 SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。 既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-11-27T15:42:12Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation [39.55651747758391]
  本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。 RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。 提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-07-20T08:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。