論文の概要: Feature-domain Adaptive Contrastive Distillation for Efficient Single
Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2211.15951v2
- Date: Fri, 24 Mar 2023 06:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 18:13:29.923094
- Title: Feature-domain Adaptive Contrastive Distillation for Efficient Single
Image Super-Resolution
- Title（参考訳）: 能率的単一画像超解像のための特徴領域適応型コントラスト蒸留
- Authors: HyeonCheol Moon, JinWoo Jeong, SungJei Kim
- Abstract要約: CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。
知識蒸留(KD)は教師の有用な知識を学生に伝達する。
本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
- 参考スコア（独自算出の注目度）: 3.2453621806729234
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, CNN-based SISR has numerous parameters and high computational cost
to achieve better performance, limiting its applicability to
resource-constrained devices such as mobile. As one of the methods to make the
network efficient, Knowledge Distillation (KD), which transfers teacher's
useful knowledge to student, is currently being studied. More recently, KD for
SISR utilizes Feature Distillation (FD) to minimize the Euclidean distance loss
of feature maps between teacher and student networks, but it does not
sufficiently consider how to effectively and meaningfully deliver knowledge
from teacher to improve the student performance at given network capacity
constraints. In this paper, we propose a feature-domain adaptive contrastive
distillation (FACD) method for efficiently training lightweight student SISR
networks. We show the limitations of the existing FD methods using Euclidean
distance loss, and propose a feature-domain contrastive loss that makes a
student network learn richer information from the teacher's representation in
the feature domain. In addition, we propose an adaptive distillation that
selectively applies distillation depending on the conditions of the training
patches. The experimental results show that the student EDSR and RCAN networks
with the proposed FACD scheme improves not only the PSNR performance of the
entire benchmark datasets and scales, but also the subjective image quality
compared to the conventional FD approaches.
- Abstract（参考訳）: 近年,CNN ベースの SISR には多くのパラメータがあり,性能向上のための計算コストが高い。
ネットワークを効率的にする方法の1つとして、教師の有用な知識を学生に伝達する知識蒸留(KD)が現在研究されている。
近年では,教師と生徒のネットワーク間における特徴マップのユークリッド距離損失を最小限に抑えるために特徴蒸留(fd)が用いられているが,ネットワーク容量制約により教師の知識を効果的かつ有意義に提供し,生徒のパフォーマンスを向上させる方法を十分に検討していない。
本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
本稿では, ユークリッド距離損失を用いた既存のfd手法の限界を示し, 生徒ネットワークが特徴領域における教師の表現からよりリッチな情報を学習させる特徴領域コントラスト損失を提案する。
また, トレーニングパッチの条件に応じて選択的に蒸留を施す適応蒸留法を提案する。
実験結果から,提案方式による学生EDSRとRCANネットワークは,ベンチマークデータセット全体のPSNR性能だけでなく,従来のFD手法と比較して主観的画質も向上することが示された。
関連論文リスト
- Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。
RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。
我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
論文 参考訳（メタデータ） (2024-07-04T08:08:25Z) - Adaptive Teaching with Shared Classifier for Knowledge Distillation [6.03477652126575]
知識蒸留(KD)は、教師ネットワークから学生ネットワークへ知識を伝達する技術である。
共有分類器(ATSC)を用いた適応型授業を提案する。
提案手法は,CIFAR-100とImageNetのデータセットに対して,単教師と多教師の両方のシナリオで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-06-12T08:51:08Z) - AICSD: Adaptive Inter-Class Similarity Distillation for Semantic
Segmentation [12.92102548320001]
本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。
提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。
セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2023-08-08T13:17:20Z) - BD-KD: Balancing the Divergences for Online Knowledge Distillation [12.27903419909491]
我々はBD-KD: オンライン知識蒸留のための多様性のバランスをとることを提案する。
逆発散と前方発散の適応的バランスは、訓練戦略の焦点をコンパクトな学生ネットワークにシフトさせることを示す。
本研究では,このバランス設計を学生蒸留損失のレベルで実施することにより,コンパクトな学生ネットワークの性能精度と校正性を両立させることを実証する。
論文 参考訳（メタデータ） (2022-12-25T22:27:32Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。
各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
論文 参考訳（メタデータ） (2022-05-28T16:11:49Z) - Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation
for Scene Recognition [64.29650787243443]
本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。
この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。
我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
論文 参考訳（メタデータ） (2022-05-04T11:05:18Z) - Local-Selective Feature Distillation for Single Image Super-Resolution [42.83228585332463]
単一画像超解像(SISR)に適した新しい特徴蒸留法(FD)を提案する。
本稿では, SISRタスクに苦しむ既存のFitNetベースのFD手法の限界を示すとともに, ローカルな特徴情報に焦点を合わせるために既存のFDアルゴリズムを変更することを提案する。
提案手法をLSFDと呼び,従来のFD法よりもSISR法の方が優れていることを確認した。
論文 参考訳（メタデータ） (2021-11-22T05:05:37Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
論文 参考訳（メタデータ） (2021-03-25T10:23:30Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。