論文の概要: Pixel Distillation: A New Knowledge Distillation Scheme for
Low-Resolution Image Recognition
- arxiv url: http://arxiv.org/abs/2112.09532v1
- Date: Fri, 17 Dec 2021 14:31:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 14:00:28.846255
- Title: Pixel Distillation: A New Knowledge Distillation Scheme for
Low-Resolution Image Recognition
- Title(参考訳): 画素蒸留:低解像度画像認識のための新しい知識蒸留法
- Authors: Guangyu Guo, Longfei Han, Junwei Han, Dingwen Zhang
- Abstract要約: 我々は、高解像度(HR)画像から学習した重いネットワークモデルから、コンパクトなネットワークモデルに有用な知識を抽出する先駆的な試みを行っている。
本稿では,知識蒸留をモデル圧縮段階と高分解能表現伝達段階に分散させるTAS(Teacher-Assistant-Student)フレームワークを提案する。
提案手法では,重度教師モデルと同等の精度で,パラメータがはるかに少なく,推論速度が速く,低解像度の入力が可能な軽量ネットワークモデルを学習することができる。
- 参考スコア(独自算出の注目度): 85.78793763053798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The great success of deep learning is mainly due to the large-scale network
architecture and the high-quality training data. However, it is still
challenging to deploy recent deep models on portable devices with limited
memory and imaging ability. Some existing works have engaged to compress the
model via knowledge distillation. Unfortunately, these methods cannot deal with
images with reduced image quality, such as the low-resolution (LR) images. To
this end, we make a pioneering effort to distill helpful knowledge from a heavy
network model learned from high-resolution (HR) images to a compact network
model that will handle LR images, thus advancing the current knowledge
distillation technique with the novel pixel distillation. To achieve this goal,
we propose a Teacher-Assistant-Student (TAS) framework, which disentangles
knowledge distillation into the model compression stage and the high resolution
representation transfer stage. By equipping a novel Feature Super Resolution
(FSR) module, our approach can learn lightweight network model that can achieve
similar accuracy as the heavy teacher model but with much fewer parameters,
faster inference speed, and lower-resolution inputs. Comprehensive experiments
on three widely-used benchmarks, \ie, CUB-200-2011, PASCAL VOC 2007, and
ImageNetSub, demonstrate the effectiveness of our approach.
- Abstract(参考訳): ディープラーニングの大きな成功は主に、大規模なネットワークアーキテクチャと高品質なトレーニングデータによるものだ。
しかし、最近の深層モデルをメモリとイメージング能力に制限のあるポータブルデバイスに展開することは依然として困難である。
既存のいくつかの研究は、知識蒸留を通じてモデルを圧縮している。
残念なことに、これらの手法は低解像度(LR)画像のような画質の低い画像を扱うことができない。
そこで本研究では,高分解能(HR)画像から学習したヘビーネットワークモデルからLR画像を扱う小型ネットワークモデルへ有用な知識を抽出するための先駆的な取り組みを行い,新しい画素蒸留技術によって現在の知識蒸留技術を進める。
この目的を達成するために,モデル圧縮段階と高分解能表現伝達段階に知識蒸留を分散させるTAS(Teacher-Assistant-Student)フレームワークを提案する。
提案手法は,新しい機能スーパーレゾリューション(FSR)モジュールを装備することにより,重度教師モデルと同様の精度で,パラメータが少なく,推論速度が速く,低解像度入力が可能な軽量ネットワークモデルを学習することができる。
CUB-200-2011, PASCAL VOC 2007, ImageNetSubの3つのベンチマークを総合的に検証し, 提案手法の有効性を実証した。
関連論文リスト
- Compressing Deep Image Super-resolution Models [2.895266689123347]
この作業では、深部SRモデルの圧縮に3段階のワークフローを使用し、メモリ要求を大幅に削減する。
我々は,この手法をSwinIRとEDSRという2つの画像超解像ネットワークに適用し,その効果を実証した。
結果、SwinIRminiとEDSRminiはモデルサイズと浮動小数点演算の両方で89%と96%の削減を実現した。
論文 参考訳(メタデータ) (2023-12-31T15:38:50Z) - Image-to-Image Translation with Deep Reinforcement Learning [52.505221275786056]
画像から画像への変換(I2IT)手法は,ディープラーニング(DL)モデルの単一実行時に画像を生成する。
深部強化学習(DRL)によるステップワイド意思決定問題としてI2ITを再構成する。
RLベースのI2IT(RL-I2IT)を実現する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-24T15:40:40Z) - Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced
Spectral and Spatial Fidelity [4.425982186154401]
本稿では,この手法の可能性をフル活用した,ディープラーニングに基づくパンシャーピングモデルを提案する。
提案モデルでは,パンシャーペンデータのスペクトルと空間的品質を協調的に向上する新たな損失関数を特徴とする。
挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法が技術状況と良好に比較できることが実証された。
論文 参考訳(メタデータ) (2023-07-26T17:25:28Z) - Towards a Smaller Student: Capacity Dynamic Distillation for Efficient
Image Retrieval [49.01637233471453]
従来の知識蒸留に基づく効率的な画像検索手法は,高速推論のための学生モデルとして軽量なネットワークを用いる。
本稿では,編集可能な表現能力を持つ学生モデルを構築するための容量動的蒸留フレームワークを提案する。
提案手法は,教師としてのResNet101を前提として,VeRi-776データセットなどの推論速度と精度が優れている。
論文 参考訳(メタデータ) (2023-03-16T11:09:22Z) - Rich Feature Distillation with Feature Affinity Module for Efficient
Image Dehazing [1.1470070927586016]
この作業は、単一イメージのヘイズ除去のためのシンプルで軽量で効率的なフレームワークを導入します。
我々は、ヘテロジニアス知識蒸留の概念を用いて、軽量な事前学習された超解像モデルから豊富な「暗黒知識」情報を利用する。
本実験は, RESIDE-Standardデータセットを用いて, 合成および実世界のドメインに対する我々のフレームワークの堅牢性を示す。
論文 参考訳(メタデータ) (2022-07-13T18:32:44Z) - High-Frequency aware Perceptual Image Enhancement [0.08460698440162888]
マルチスケール解析に適した新しいディープニューラルネットワークを導入し,効率的なモデルに依存しない手法を提案する。
本モデルは,デノイング,デブロアリング,単一画像超解像などのマルチスケール画像強調問題に適用できる。
論文 参考訳(メタデータ) (2021-05-25T07:33:14Z) - Pre-Trained Image Processing Transformer [95.93031793337613]
我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。
本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。
IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
論文 参考訳(メタデータ) (2020-12-01T09:42:46Z) - Deep Iterative Residual Convolutional Network for Single Image
Super-Resolution [31.934084942626257]
我々は、ISRResCNet(Deep Iterative Super-Resolution Residual Convolutional Network)を提案する。
残差学習アプローチを用いて、深層ネットワークを反復的に訓練することにより、強力な画像正規化と大規模最適化手法を活用する。
トレーニング可能なパラメータがいくつかある本手法は,最先端の手法と比較して,異なるスケーリング要因に対する結果を改善する。
論文 参考訳(メタデータ) (2020-09-07T12:54:14Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳(メタデータ) (2020-06-09T21:47:17Z) - Pixel-Level Self-Paced Learning for Super-Resolution [101.13851473792334]
本稿では、SISRモデルの収束速度を高速化するために、PPL(Pixel-level Self-Paced Learning)と呼ばれるトレーニング戦略を設計する。
自己ペースト学習を模倣したPSPLは、予測SR画像中の各ピクセルとその対応するピクセルに注意重みを与え、パラメータ空間内のより良い領域にモデルを誘導する。
実験の結果、PSPLはSISRモデルの訓練を高速化し、いくつかの既存のモデルに新たなより良い結果を得るよう促すことができた。
論文 参考訳(メタデータ) (2020-03-06T10:04:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。