論文の概要: Knowledge Distillation for Image Restoration : Simultaneous Learning from Degraded and Clean Images

• arxiv url: http://arxiv.org/abs/2501.09268v1
• Date: Thu, 16 Jan 2025 03:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:27.590024
• Title: Knowledge Distillation for Image Restoration : Simultaneous Learning from Degraded and Clean Images
• Title（参考訳）: 画像復元のための知識蒸留 : 劣化画像とクリーン画像の同時学習
• Authors: Yongheng Zhang, Danfeng Yan,
• Abstract要約: 画像復元作業におけるモデル圧縮に適した同時学習知識蒸留(SLKD)フレームワークを提案する。 SLKDは2つの異なる学習戦略:分解除去学習(DRL)と画像再構成学習(IRL)を同時に採用している。 5つのデータセットと3つのタスクにわたる実験結果から、SLKDは強力な画像復元性能を維持しながら、FLOPとパラメータの大幅な削減を実現していることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Model compression through knowledge distillation has seen extensive application in classification and segmentation tasks. However, its potential in image-to-image translation, particularly in image restoration, remains underexplored. To address this gap, we propose a Simultaneous Learning Knowledge Distillation (SLKD) framework tailored for model compression in image restoration tasks. SLKD employs a dual-teacher, single-student architecture with two distinct learning strategies: Degradation Removal Learning (DRL) and Image Reconstruction Learning (IRL), simultaneously. In DRL, the student encoder learns from Teacher A to focus on removing degradation factors, guided by a novel BRISQUE extractor. In IRL, the student decoder learns from Teacher B to reconstruct clean images, with the assistance of a proposed PIQE extractor. These strategies enable the student to learn from degraded and clean images simultaneously, ensuring high-quality compression of image restoration models. Experimental results across five datasets and three tasks demonstrate that SLKD achieves substantial reductions in FLOPs and parameters, exceeding 80\%, while maintaining strong image restoration performance.
• Abstract（参考訳）: 知識蒸留によるモデル圧縮は、分類とセグメンテーションタスクに広く応用されている。 しかし、イメージ・ツー・イメージの翻訳、特に画像復元におけるその可能性はまだ未解明のままである。 このギャップに対処するため,画像復元作業におけるモデル圧縮に適したSLKDフレームワークを提案する。 SLKDは2つの異なる学習戦略:分解除去学習(DRL)と画像再構成学習(IRL)を同時に採用している。 DRLでは、学生エンコーダが教師Aから学び、新しいBRISQUE抽出器によって導かれる劣化要因の除去に焦点を当てる。 IRLでは、学生デコーダが教師Bから学習し、提案したPIQE抽出器を用いてクリーンな画像の再構築を行う。 これらの戦略により、学生は画像の劣化とクリーン化を同時に学べるようになり、画像復元モデルの高品質な圧縮が保証される。 5つのデータセットと3つのタスクにまたがる実験結果から、SLKDは強力な画像復元性能を維持しながら、FLOPとパラメータの大幅な削減を実現していることが示された。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration [33.163161549726446]
  Perceive-IRは、微細な画質制御を実現するために設計されたオールインワン画像復元装置である。 素早い学習の段階では、素早い学習を活用し、3段階の品質レベルを識別できるきめ細かい品質知覚器を得る。 修復段階では,修復プロセスをさらに促進するために,意味的誘導モジュールとコンパクトな特徴抽出を提案する。
  論文  参考訳（メタデータ） (2024-08-28T17:58:54Z)
• Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
  本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。 このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。 コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-08-13T08:08:45Z)
• ComKD-CLIP: Comprehensive Knowledge Distillation for Contrastive Language-Image Pre-traning Model [49.587821411012705]
  コントラスト言語画像前処理モデルのための包括的知識蒸留法ComKD-CLIPを提案する。 大規模な教師CLIPモデルからより小さな学生モデルに知識を抽出し、パラメータを著しく減らして同等のパフォーマンスを確保する。 EduAttentionは教師モデルで抽出したテキスト特徴と学生モデルで抽出した画像特徴との相互関係を探索する。
  論文  参考訳（メタデータ） (2024-08-08T01:12:21Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Wide & deep learning for spatial & intensity adaptive image restoration [16.340992967330603]
  本稿では,広義の多フレーム画像復元ネットワーク(DparNet)を提案する。 劣化前のパラメータ行列は、劣化した画像から直接学習される。 DparNetの広範かつ深いアーキテクチャにより、学習したパラメータは最終的な復元結果を直接修正できる。
  論文  参考訳（メタデータ） (2023-05-30T03:24:09Z)
• Restoring Vision in Hazy Weather with Hierarchical Contrastive Learning [53.85892601302974]
  階層的コントラストデハージング(HCD)という,効果的な画像デハージング手法を提案する。 HCDは階層的脱ハージングネットワーク(HDN)と新しい階層的コントラスト損失(HCL)から構成される
  論文  参考訳（メタデータ） (2022-12-22T03:57:06Z)
• Knowledge Distillation based Degradation Estimation for Blind Super-Resolution [146.0988597062618]
  Blind画像超解像(Blind-SR)は、対応する低解像度(LR)入力画像から高解像度(HR)画像を未知の劣化で復元することを目的としている。 劣化推定器のトレーニングを監督するために、複数の劣化組合せの具体的なラベルを提供することは不可能である。 本稿では,知識蒸留に基づく暗黙劣化推定ネットワーク(KD-IDE)と効率的なSRネットワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T11:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。