論文の概要: Distilling Semantic Priors from SAM to Efficient Image Restoration Models

• arxiv url: http://arxiv.org/abs/2403.16368v1
• Date: Mon, 25 Mar 2024 02:17:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:17:05.319574
• Title: Distilling Semantic Priors from SAM to Efficient Image Restoration Models
• Title（参考訳）: SAMから効率的な画像復元モデルへのセマンティック前駆体蒸留
• Authors: Quan Zhang, Xiaoyu Liu, Wei Li, Hanting Chen, Junchao Liu, Jie Hu, Zhiwei Xiong, Chun Yuan, Yunhe Wang,
• Abstract要約: 画像復元(IR)では、セグメンテーションモデルからセグメンテーションの事前情報を活用することが、性能向上のための一般的なアプローチである。 近年のセグメンテーション・アズ・モデル (SAM) は、IRタスクを強化するために先進的なセグメンテーション先行を抽出する強力なツールとして登場した。 本稿では,SAMのセマンティック知識を抽出し,推論プロセスに干渉することなく,IRモデルからの撤退を促進するための一般的な枠組みを提案する。
• 参考スコア（独自算出の注目度）: 80.83077145948863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In image restoration (IR), leveraging semantic priors from segmentation models has been a common approach to improve performance. The recent segment anything model (SAM) has emerged as a powerful tool for extracting advanced semantic priors to enhance IR tasks. However, the computational cost of SAM is prohibitive for IR, compared to existing smaller IR models. The incorporation of SAM for extracting semantic priors considerably hampers the model inference efficiency. To address this issue, we propose a general framework to distill SAM's semantic knowledge to boost exiting IR models without interfering with their inference process. Specifically, our proposed framework consists of the semantic priors fusion (SPF) scheme and the semantic priors distillation (SPD) scheme. SPF fuses two kinds of information between the restored image predicted by the original IR model and the semantic mask predicted by SAM for the refined restored image. SPD leverages a self-distillation manner to distill the fused semantic priors to boost the performance of original IR models. Additionally, we design a semantic-guided relation (SGR) module for SPD, which ensures semantic feature representation space consistency to fully distill the priors. We demonstrate the effectiveness of our framework across multiple IR models and tasks, including deraining, deblurring, and denoising.
• Abstract（参考訳）: 画像復元(IR)では、セグメンテーションモデルからセグメンテーションの事前情報を活用することが、性能向上のための一般的なアプローチである。 最近のセグメンテーション・アズ・モデル(SAM)は、IRタスクを強化するために先進的なセマンティック・プリエントを抽出する強力なツールとして登場した。 しかし、SAMの計算コストは、既存の小さなIRモデルと比較して、IRでは禁じられている。 セマンティック事前抽出のためのSAMの導入は、モデル推論効率をかなり損なう。 そこで本研究では,SAMのセマンティック知識を抽出し,推論プロセスに干渉することなく,IRモデルからの撤退を促進するための一般的なフレームワークを提案する。 具体的には, セマンティック先行蒸留法 (SPF) とセマンティック先行蒸留法 (SPD) で構成する。 SPFは、元のIRモデルによって予測される復元画像と、SAMによって予測される回復画像のセマンティックマスクの2つの種類の情報を融合する。 SPDは自己蒸留法を利用して、溶解したセマンティクスを蒸留し、元のIRモデルの性能を高める。 さらに,意味的特徴表現空間の整合性を確保するために,SPDのための意味的誘導関係(SGR)モジュールを設計する。 複数のIRモデルとタスクにまたがるフレームワークの有効性を実証する。

関連論文リスト

• Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation [56.87049651707208]
  セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。 我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。 そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
  論文  参考訳（メタデータ） (2024-10-03T10:33:49Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)
• A Dive into SAM Prior in Image Restoration [40.03648504115027]
  画像復元(IR)の目的は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。 本稿では,既存のIRネットワークにセマンティックプリエントを組み込む軽量SAMプリエントチューニング(SPT)ユニットを提案する。 我々の手法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。
  論文  参考訳（メタデータ） (2023-05-23T02:31:06Z)
• Complementary Random Masking for RGB-Thermal Semantic Segmentation [63.93784265195356]
  RGB-熱的セマンティックセグメンテーションは、悪天候や照明条件における信頼性の高いセマンティックセマンティックセマンティック理解を実現するための潜在的ソリューションである。 本稿では,1)RGB-T画像の相補的ランダムマスキング戦略,2)クリーンモードとマスク入力モードの自己蒸留損失を提案する。 3つのRGB-Tセマンティックセマンティックセグメンテーションベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-30T13:57:21Z)
• Adaptive Diffusion Priors for Accelerated MRI Reconstruction [0.9895793818721335]
  ディープMRI再構成は、完全にサンプリングされたデータと整合したイメージを復元するために、アンサンプされた取得をデエイリアス化する条件付きモデルで一般的に行われる。 非条件モデルは、画像演算子に関連する領域シフトに対する信頼性を向上させるために、演算子から切り離された生成画像の事前を学習する。 本稿では,MRI 再構成に先立つ適応拡散 AdaDiff を提案する。
  論文  参考訳（メタデータ） (2022-07-12T22:45:08Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。