論文の概要: Feature-based Adaptive Contrastive Distillation for Efficient Single
Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2211.15951v1
- Date: Tue, 29 Nov 2022 06:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 17:26:30.021918
- Title: Feature-based Adaptive Contrastive Distillation for Efficient Single
Image Super-Resolution
- Title（参考訳）: 超解像高能率化のための特徴量適応型コントラスト蒸留法
- Authors: HyeonCheol Moon, JinWoo Jeong, SungJei Kim
- Abstract要約: 本稿では,軽量SISRネットワークを効率的にトレーニングするための特徴量に基づく適応型コントラスト蒸留(FACD)手法を提案する。
実験結果から,提案したFACDは,ベンチマークデータセット全体のPSNR性能だけでなく,主観的画質も向上することが示された。
- 参考スコア（独自算出の注目度）: 3.2453621806729234
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Convolution Neural Networks (CNNs) have been used in various fields and are
showing demonstrated excellent performance, especially in Single-Image Super
Resolution (SISR). However, recently, CNN-based SISR has numerous parameters
and computational costs for obtaining better performance. As one of the methods
to make the network efficient, Knowledge Distillation (KD) which optimizes the
performance trade-off by adding a loss term to the existing network
architecture is currently being studied. KD for SISR is mainly proposed as a
feature distillation (FD) to minimize L1-distance loss of feature maps between
teacher and student networks, but it does not fully take into account the
amount and importance of information that the student can accept. In this
paper, we propose a feature-based adaptive contrastive distillation (FACD)
method for efficiently training lightweight SISR networks. We show the
limitations of the existing feature-distillation (FD) with L1-distance loss,
and propose a feature-based contrastive loss that maximizes the mutual
information between the feature maps of the teacher and student networks. The
experimental results show that the proposed FACD improves not only the PSNR
performance of the entire benchmark datasets and scales but also the subjective
image quality compared to the conventional FD approach.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は様々な分野で使われており、特にSingle-Image Super Resolution(SISR)において優れた性能を示している。
しかし、近年、CNNベースのSISRには多くのパラメータと計算コストがあり、性能が向上している。
ネットワークを効率的にする方法の1つとして、既存のネットワークアーキテクチャに損失項を追加することで性能トレードオフを最適化する知識蒸留(KD)が現在研究されている。
kd for sisrは主に教師と学生ネットワーク間の特徴マップのl1距離損失を最小限に抑えるための機能蒸留(fd)として提案されているが、学生が受け入れる情報量と重要性を十分に考慮していない。
本稿では,軽量SISRネットワークを効率的にトレーニングするための特徴量に基づく適応型コントラスト蒸留(FACD)手法を提案する。
既存の機能拡張(FD)とL1距離損失の限界を示すとともに,教師と学生のネットワークの特徴マップ間の相互情報を最大化する特徴に基づくコントラスト損失を提案する。
実験の結果,提案したFACDは,ベンチマークデータセット全体のPSNR性能だけでなく,従来のFD手法と比較して主観的画質も向上していることがわかった。
関連論文リスト
- Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。
RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。
我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
論文 参考訳（メタデータ） (2024-07-04T08:08:25Z) - Adaptive Teaching with Shared Classifier for Knowledge Distillation [6.03477652126575]
知識蒸留(KD)は、教師ネットワークから学生ネットワークへ知識を伝達する技術である。
共有分類器(ATSC)を用いた適応型授業を提案する。
提案手法は,CIFAR-100とImageNetのデータセットに対して,単教師と多教師の両方のシナリオで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-06-12T08:51:08Z) - AICSD: Adaptive Inter-Class Similarity Distillation for Semantic
Segmentation [12.92102548320001]
本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。
提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。
セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2023-08-08T13:17:20Z) - BD-KD: Balancing the Divergences for Online Knowledge Distillation [12.27903419909491]
我々はBD-KD: オンライン知識蒸留のための多様性のバランスをとることを提案する。
逆発散と前方発散の適応的バランスは、訓練戦略の焦点をコンパクトな学生ネットワークにシフトさせることを示す。
本研究では,このバランス設計を学生蒸留損失のレベルで実施することにより,コンパクトな学生ネットワークの性能精度と校正性を両立させることを実証する。
論文 参考訳（メタデータ） (2022-12-25T22:27:32Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。
各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
論文 参考訳（メタデータ） (2022-05-28T16:11:49Z) - Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation
for Scene Recognition [64.29650787243443]
本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。
この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。
我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
論文 参考訳（メタデータ） (2022-05-04T11:05:18Z) - Local-Selective Feature Distillation for Single Image Super-Resolution [42.83228585332463]
単一画像超解像(SISR)に適した新しい特徴蒸留法(FD)を提案する。
本稿では, SISRタスクに苦しむ既存のFitNetベースのFD手法の限界を示すとともに, ローカルな特徴情報に焦点を合わせるために既存のFDアルゴリズムを変更することを提案する。
提案手法をLSFDと呼び,従来のFD法よりもSISR法の方が優れていることを確認した。
論文 参考訳（メタデータ） (2021-11-22T05:05:37Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
論文 参考訳（メタデータ） (2021-03-25T10:23:30Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。