論文の概要: Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition

• arxiv url: http://arxiv.org/abs/2112.09532v1
• Date: Fri, 17 Dec 2021 14:31:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 14:00:28.846255
• Title: Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
• Title（参考訳）: 画素蒸留:低解像度画像認識のための新しい知識蒸留法
• Authors: Guangyu Guo, Longfei Han, Junwei Han, Dingwen Zhang
• Abstract要約: 我々は、高解像度(HR)画像から学習した重いネットワークモデルから、コンパクトなネットワークモデルに有用な知識を抽出する先駆的な試みを行っている。 本稿では,知識蒸留をモデル圧縮段階と高分解能表現伝達段階に分散させるTAS(Teacher-Assistant-Student)フレームワークを提案する。 提案手法では,重度教師モデルと同等の精度で,パラメータがはるかに少なく,推論速度が速く,低解像度の入力が可能な軽量ネットワークモデルを学習することができる。
• 参考スコア（独自算出の注目度）: 85.78793763053798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The great success of deep learning is mainly due to the large-scale network architecture and the high-quality training data. However, it is still challenging to deploy recent deep models on portable devices with limited memory and imaging ability. Some existing works have engaged to compress the model via knowledge distillation. Unfortunately, these methods cannot deal with images with reduced image quality, such as the low-resolution (LR) images. To this end, we make a pioneering effort to distill helpful knowledge from a heavy network model learned from high-resolution (HR) images to a compact network model that will handle LR images, thus advancing the current knowledge distillation technique with the novel pixel distillation. To achieve this goal, we propose a Teacher-Assistant-Student (TAS) framework, which disentangles knowledge distillation into the model compression stage and the high resolution representation transfer stage. By equipping a novel Feature Super Resolution (FSR) module, our approach can learn lightweight network model that can achieve similar accuracy as the heavy teacher model but with much fewer parameters, faster inference speed, and lower-resolution inputs. Comprehensive experiments on three widely-used benchmarks, \ie, CUB-200-2011, PASCAL VOC 2007, and ImageNetSub, demonstrate the effectiveness of our approach.
• Abstract（参考訳）: ディープラーニングの大きな成功は主に、大規模なネットワークアーキテクチャと高品質なトレーニングデータによるものだ。 しかし、最近の深層モデルをメモリとイメージング能力に制限のあるポータブルデバイスに展開することは依然として困難である。 既存のいくつかの研究は、知識蒸留を通じてモデルを圧縮している。 残念なことに、これらの手法は低解像度(LR)画像のような画質の低い画像を扱うことができない。 そこで本研究では,高分解能(HR)画像から学習したヘビーネットワークモデルからLR画像を扱う小型ネットワークモデルへ有用な知識を抽出するための先駆的な取り組みを行い,新しい画素蒸留技術によって現在の知識蒸留技術を進める。 この目的を達成するために,モデル圧縮段階と高分解能表現伝達段階に知識蒸留を分散させるTAS(Teacher-Assistant-Student)フレームワークを提案する。 提案手法は,新しい機能スーパーレゾリューション(FSR)モジュールを装備することにより,重度教師モデルと同様の精度で,パラメータが少なく,推論速度が速く,低解像度入力が可能な軽量ネットワークモデルを学習することができる。 CUB-200-2011, PASCAL VOC 2007, ImageNetSubの3つのベンチマークを総合的に検証し, 提案手法の有効性を実証した。

関連論文リスト

• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Resource Efficient Perception for Vision Systems [0.0]
  本研究では,高解像度画像に対するメモリ効率のパッチベース処理を活用することにより,これらの課題を軽減するためのフレームワークを提案する。 ローカルなパッチ情報と共にグローバルなコンテキスト表現が組み込まれており、画像の内容の包括的な理解を可能にする。 分類,オブジェクト検出,セグメンテーションにまたがる7つのベンチマークにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-12T05:33:00Z)
• EPNet: An Efficient Pyramid Network for Enhanced Single-Image Super-Resolution with Reduced Computational Requirements [12.439807086123983]
  シングルイメージ超解像(SISR)は、ディープラーニングの統合によって大幅に進歩した。 本稿では,エッジ分割ピラミッドモジュール (ESPM) とパノラマ特徴抽出モジュール (PFEM) を調和して結合し,既存の手法の限界を克服する,EPNet (Efficient Pyramid Network) を提案する。
  論文  参考訳（メタデータ） (2023-12-20T19:56:53Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Super-Resolution of License Plate Images Using Attention Modules and Sub-Pixel Convolution Layers [3.8831062015253055]
  監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。 提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。 以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-27T00:17:19Z)
• Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images [64.84260544255477]
  変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。 CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:13:33Z)
• Rich Feature Distillation with Feature Affinity Module for Efficient Image Dehazing [1.1470070927586016]
  この作業は、単一イメージのヘイズ除去のためのシンプルで軽量で効率的なフレームワークを導入します。 我々は、ヘテロジニアス知識蒸留の概念を用いて、軽量な事前学習された超解像モデルから豊富な「暗黒知識」情報を利用する。 本実験は, RESIDE-Standardデータセットを用いて, 合成および実世界のドメインに対する我々のフレームワークの堅牢性を示す。
  論文  参考訳（メタデータ） (2022-07-13T18:32:44Z)
• Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image Denoising [50.039949798156826]
  本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。 ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。 次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
  論文  参考訳（メタデータ） (2022-07-09T13:35:12Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。