論文の概要: Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2404.02573v1
- Date: Wed, 3 Apr 2024 08:47:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:00:28.422933
- Title: Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution
- Title(参考訳): 画像超解像における先行成分の多粒度混合による知識蒸留
- Authors: Simiao Li, Yun Zhang, Wei Li, Hanting Chen, Wenjia Wang, Bingyi Jing, Shaohui Lin, Jie Hu,
- Abstract要約: 本研究は,KDPKフレームワークのマルチグラニュラリティ混合であるMIDPKを示し,高効率な画像超解像モデルを実現する。
提案手法の有効性を示す実験を行った。
- 参考スコア(独自算出の注目度): 25.558550480342614
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge distillation (KD) is a promising yet challenging model compression technique that transfers rich learning representations from a well-performing but cumbersome teacher model to a compact student model. Previous methods for image super-resolution (SR) mostly compare the feature maps directly or after standardizing the dimensions with basic algebraic operations (e.g. average, dot-product). However, the intrinsic semantic differences among feature maps are overlooked, which are caused by the disparate expressive capacity between the networks. This work presents MiPKD, a multi-granularity mixture of prior KD framework, to facilitate efficient SR model through the feature mixture in a unified latent space and stochastic network block mixture. Extensive experiments demonstrate the effectiveness of the proposed MiPKD method.
- Abstract(参考訳): 知識蒸留(KD)は、リッチな学習表現を優れた性能を持つ教師モデルからコンパクトな学生モデルに伝達する、有望だが挑戦的なモデル圧縮技術である。
以前の画像超解法(SR)は、主に次元の標準化後の特徴写像と基本的な代数演算(例えば、平均、ドット積)を直接比較する。
しかし、特徴写像の固有の意味的差異は、ネットワーク間の異なる表現能力によって引き起こされるため、見過ごされてしまう。
本研究では,従来のKDフレームワークの多粒度混合であるMiPKDを提案する。
大規模実験により提案手法の有効性が示された。
関連論文リスト
- MTKD: Multi-Teacher Knowledge Distillation for Image Super-Resolution [6.983043882738687]
画像超解像のためのMTKD(Multi-Teacher Knowledge Distillation)フレームワークを提案する。
複数の教師の利点を生かし、これらの教師モデルのアウトプットを統合して強化する。
画像超解像のための5つの一般的なKD法と比較することにより,提案手法の有効性を十分に評価する。
論文 参考訳(メタデータ) (2024-04-15T08:32:41Z) - Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI
Super-resolution and Reconstruction [23.779641808300596]
最適化アルゴリズムの指導の下で,マルチコントラスト畳み込み辞書(MC-CDic)モデルを提案する。
近似勾配アルゴリズムを用いてモデルを最適化し、反復的なステップを深部CDicモデルに展開する。
実験により,既存のSOTA法に対して提案したMC-CDicモデルの方が優れた性能を示した。
論文 参考訳(メタデータ) (2023-09-03T13:18:59Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Dense Depth Distillation with Out-of-Distribution Simulated Images [30.79756881887895]
単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。
KDは、訓練された教師モデルからそれを圧縮し、対象領域でのトレーニングデータを欠くことにより、現実世界の深度知覚タスクの軽量モデルを学ぶ。
提案手法は, トレーニング画像の1/6に留まらず, ベースラインKDのマージンが良好であり, 性能も若干向上していることを示す。
論文 参考訳(メタデータ) (2022-08-26T07:10:01Z) - Be Your Own Best Competitor! Multi-Branched Adversarial Knowledge
Transfer [15.499267533387039]
提案手法は,高速な画像分類とエンコーダデコーダアーキテクチャの両方に特化しており,推論過程において余分な計算オーバーヘッドを発生させることなく,小型・コンパクトなモデルの性能を向上させる。
提案手法は, 従来の自己蒸留法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2020-10-09T11:57:45Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳(メタデータ) (2020-03-23T17:55:42Z) - Collaborative Distillation for Ultra-Resolution Universal Style Transfer [71.18194557949634]
本稿では,エンコーダ-デコーダを用いたニューラルスタイル変換のための新しい知識蒸留法(コラボレーティブ蒸留)を提案する。
12GBのGPUで、初めて超高解像度(40メガピクセル以上)のユニバーサルなスタイル転送を実現しました。
論文 参考訳(メタデータ) (2020-03-18T18:59:31Z) - Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。
このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。
提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-02-21T07:49:26Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。