論文の概要: Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2207.08356v1
• Date: Mon, 18 Jul 2022 02:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 17:19:05.260685
• Title: Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution
• Title（参考訳）: 超解像に対するメタ知識蒸留による知識表現の学習
• Authors: Han Zhu, Zhenzhong Chen, Shan Liu
• Abstract要約: 単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 82.89021683451432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD), which can efficiently transfer knowledge from a cumbersome network (teacher) to a compact network (student), has demonstrated its advantages in some computer vision applications. The representation of knowledge is vital for knowledge transferring and student learning, which is generally defined in hand-crafted manners or uses the intermediate features directly. In this paper, we propose a model-agnostic meta knowledge distillation method under the teacher-student architecture for the single image super-resolution task. It provides a more flexible and accurate way to help the teachers transmit knowledge in accordance with the abilities of students via knowledge representation networks (KRNets) with learnable parameters. In order to improve the perception ability of knowledge representation to students' requirements, we propose to solve the transformation process from intermediate outputs to transferred knowledge by employing the student features and the correlation between teacher and student in the KRNets. Specifically, the texture-aware dynamic kernels are generated and then extract texture features to be improved and the corresponding teacher guidance so as to decompose the distillation problem into texture-wise supervision for further promoting the recovery quality of high-frequency details. In addition, the KRNets are optimized in a meta-learning manner to ensure the knowledge transferring and the student learning are beneficial to improving the reconstructed quality of the student. Experiments conducted on various single image super-resolution datasets demonstrate that our proposed method outperforms existing defined knowledge representation related distillation methods, and can help super-resolution algorithms achieve better reconstruction quality without introducing any inference complexity.
• Abstract（参考訳）: カンバーサムネットワーク(教師)からコンパクトネットワーク(学生)へ効率的に知識を伝達できる知識蒸留(kd)は、いくつかのコンピュータビジョンアプリケーションにおいてその利点を実証している。 知識の表現は知識の伝達と学習に不可欠であり、一般に手作りの方法で定義されるか、中間的特徴を直接使用する。 本稿では,単一画像超解像課題に対する教師学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 学習可能なパラメータを持つ知識表現ネットワーク(KRNets)を介して、教師が生徒の能力に応じて知識を伝えるための、より柔軟で正確な方法を提供する。 学生の要求に対する知識表現の認識能力を向上させるために,KRNetsにおける学生の特徴と教師と生徒の相関を利用して,中間出力から転向知識への変換プロセスを解くことを提案する。 具体的には、テクスチャ対応動的カーネルを生成して、改良すべきテクスチャ特徴とそれに対応する教師指導を抽出して、蒸留問題をテクスチャに分解し、高周波詳細の回復品質をさらに向上させる。 さらに、KRNetはメタラーニング方式で最適化され、知識の伝達と学生の学習が、学生の再構築された品質向上に有効であることを保証する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れており,推論複雑性を伴わずに,超解像アルゴリズムの精度向上に寄与することを示した。

関連論文リスト

• Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation [11.754014876977422]
  本報告では,学生のニーズに合うように教師の知識を改良し,学生を意識した視点を新たに導入する。 本稿では,訓練中に学習可能な機能拡張戦略を取り入れた学生指向知識蒸留(SoKD)について紹介する。 また,教師と学生の相互関心領域を特定するために,DAM(Distinctive Area Detection Module)をデプロイした。
  論文  参考訳（メタデータ） (2024-09-27T14:34:08Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph for Fine-grained Object Classification [9.49864824780503]
  相互学習を施したネットワークのアンサンブルのパフォーマンスは,通常のアンサンブルに比べて,相互学習なしには改善しない。 これは相互学習における知識とアンサンブルにおけるネットワークの個性の関係によるものかもしれない。 本稿では,相互学習におけるネットワーク間の多様性を促進する損失設計を導入することにより,知識伝達を用いたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2021-03-27T08:56:00Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。