Fugu-MT 論文翻訳(概要): Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution

論文の概要: Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution

arxiv url: http://arxiv.org/abs/2404.02573v1
Date: Wed, 3 Apr 2024 08:47:40 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 18:00:28.422933
Title: Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution
Title（参考訳）: 画像超解像における先行成分の多粒度混合による知識蒸留
Authors: Simiao Li, Yun Zhang, Wei Li, Hanting Chen, Wenjia Wang, Bingyi Jing, Shaohui Lin, Jie Hu,
Abstract要約: 本研究は,KDPKフレームワークのマルチグラニュラリティ混合であるMIDPKを示し,高効率な画像超解像モデルを実現する。提案手法の有効性を示す実験を行った。
参考スコア（独自算出の注目度）: 25.558550480342614
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Knowledge distillation (KD) is a promising yet challenging model compression technique that transfers rich learning representations from a well-performing but cumbersome teacher model to a compact student model. Previous methods for image super-resolution (SR) mostly compare the feature maps directly or after standardizing the dimensions with basic algebraic operations (e.g. average, dot-product). However, the intrinsic semantic differences among feature maps are overlooked, which are caused by the disparate expressive capacity between the networks. This work presents MiPKD, a multi-granularity mixture of prior KD framework, to facilitate efficient SR model through the feature mixture in a unified latent space and stochastic network block mixture. Extensive experiments demonstrate the effectiveness of the proposed MiPKD method.
Abstract（参考訳）: 知識蒸留(KD)は、リッチな学習表現を優れた性能を持つ教師モデルからコンパクトな学生モデルに伝達する、有望だが挑戦的なモデル圧縮技術である。以前の画像超解法(SR)は、主に次元の標準化後の特徴写像と基本的な代数演算(例えば、平均、ドット積)を直接比較する。しかし、特徴写像の固有の意味的差異は、ネットワーク間の異なる表現能力によって引き起こされるため、見過ごされてしまう。本研究では,従来のKDフレームワークの多粒度混合であるMiPKDを提案する。大規模実験により提案手法の有効性が示された。

関連論文リスト

Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations? [55.99654128127689]
クロスモーダル・コントラスト蒸留は近年,有効3次元表現の学習のために研究されている。既存の手法は主にモーダリティ共有の特徴に焦点を合わせ、事前学習過程におけるモーダリティ固有の特徴を無視している。本稿では,これらの欠点に対処する新しいフレームワークCMCRを提案する。
論文参考訳（メタデータ） (2024-12-12T06:09:49Z)
Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
論文参考訳（メタデータ） (2024-11-27T18:50:15Z)
Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
論文参考訳（メタデータ） (2024-10-15T03:54:59Z)
One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文参考訳（メタデータ） (2024-08-14T11:47:22Z)
MTKD: Multi-Teacher Knowledge Distillation for Image Super-Resolution [6.983043882738687]
画像超解像のためのMTKD(Multi-Teacher Knowledge Distillation)フレームワークを提案する。複数の教師の利点を生かし、これらの教師モデルのアウトプットを統合して強化する。画像超解像のための5つの一般的なKD法と比較することにより,提案手法の有効性を十分に評価する。
論文参考訳（メタデータ） (2024-04-15T08:32:41Z)
Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction [23.779641808300596]
最適化アルゴリズムの指導の下で,マルチコントラスト畳み込み辞書(MC-CDic)モデルを提案する。近似勾配アルゴリズムを用いてモデルを最適化し、反復的なステップを深部CDicモデルに展開する。実験により,既存のSOTA法に対して提案したMC-CDicモデルの方が優れた性能を示した。
論文参考訳（メタデータ） (2023-09-03T13:18:59Z)
Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。本稿では,階層型統合拡散モデル(HI-Diff)を提案する。人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文参考訳（メタデータ） (2023-05-22T12:18:20Z)
Dense Depth Distillation with Out-of-Distribution Simulated Images [30.79756881887895]
単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。 KDは、訓練された教師モデルからそれを圧縮し、対象領域でのトレーニングデータを欠くことにより、現実世界の深度知覚タスクの軽量モデルを学ぶ。提案手法は, トレーニング画像の1/6に留まらず, ベースラインKDのマージンが良好であり, 性能も若干向上していることを示す。
論文参考訳（メタデータ） (2022-08-26T07:10:01Z)
Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文参考訳（メタデータ） (2020-03-23T17:55:42Z)
Collaborative Distillation for Ultra-Resolution Universal Style Transfer [71.18194557949634]
本稿では,エンコーダ-デコーダを用いたニューラルスタイル変換のための新しい知識蒸留法(コラボレーティブ蒸留)を提案する。 12GBのGPUで、初めて超高解像度(40メガピクセル以上)のユニバーサルなスタイル転送を実現しました。
論文参考訳（メタデータ） (2020-03-18T18:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。