論文の概要: Data-free Knowledge Distillation for Fine-grained Visual Categorization

• arxiv url: http://arxiv.org/abs/2404.12037v1
• Date: Thu, 18 Apr 2024 09:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:51:17.606931
• Title: Data-free Knowledge Distillation for Fine-grained Visual Categorization
• Title（参考訳）: きめ細かい視覚分類のためのデータフリー知識蒸留
• Authors: Renrong Shao, Wei Zhang, Jianhua Yin, Jun Wang,
• Abstract要約: 本稿では,DFKDを細粒度視覚分類(FGVC)タスクに拡張するDFKD-FGVCという手法を提案する。 本研究では,広く使用されている3つのFGVCベンチマーク(Aircraft,Cars196,CUB200)に対するアプローチを評価し,その性能を実証した。
• 参考スコア（独自算出の注目度）: 9.969720644789781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-free knowledge distillation (DFKD) is a promising approach for addressing issues related to model compression, security privacy, and transmission restrictions. Although the existing methods exploiting DFKD have achieved inspiring achievements in coarse-grained classification, in practical applications involving fine-grained classification tasks that require more detailed distinctions between similar categories, sub-optimal results are obtained. To address this issue, we propose an approach called DFKD-FGVC that extends DFKD to fine-grained visual categorization~(FGVC) tasks. Our approach utilizes an adversarial distillation framework with attention generator, mixed high-order attention distillation, and semantic feature contrast learning. Specifically, we introduce a spatial-wise attention mechanism to the generator to synthesize fine-grained images with more details of discriminative parts. We also utilize the mixed high-order attention mechanism to capture complex interactions among parts and the subtle differences among discriminative features of the fine-grained categories, paying attention to both local features and semantic context relationships. Moreover, we leverage the teacher and student models of the distillation framework to contrast high-level semantic feature maps in the hyperspace, comparing variances of different categories. We evaluate our approach on three widely-used FGVC benchmarks (Aircraft, Cars196, and CUB200) and demonstrate its superior performance.
• Abstract（参考訳）: データフリー知識蒸留(DFKD)は、モデル圧縮、セキュリティプライバシ、送信制限に関連する問題に対処するための有望なアプローチである。 DFKDを利用した既存手法は, 粗粒度分類の達成に寄与しているが, 類似のカテゴリ間のより詳細な区別を必要とする細粒度分類タスクの実践的応用では, 準最適結果が得られる。 この問題に対処するため,DFKDをきめ細かな視覚分類へ拡張するDFKD-FGVC(DFKD-FGVC)という手法を提案する。 提案手法では,アテンションジェネレータ,混合高次アテンション蒸留,セマンティック特徴コントラスト学習を併用した逆蒸留方式を用いる。 具体的には、細粒度画像を識別部品の詳細で合成する空間的注意機構をジェネレータに導入する。 また, 局所的特徴と意味的文脈関係の両方に注意を払って, 部分間の複雑な相互作用と, 細粒度カテゴリーの識別的特徴の微妙な相違を捉えるために, 混合高次アテンション機構を利用する。 さらに, 蒸留フレームワークの教師モデルと学生モデルを用いて, ハイパースペースにおける高レベルの意味的特徴マップを対比し, 異なるカテゴリの差異を比較した。 本研究では,広く使用されている3つのFGVCベンチマーク(Aircraft,Cars196,CUB200)に対するアプローチを評価し,その性能を実証した。

関連論文リスト

• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
  拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。 詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。 大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
  論文  参考訳（メタデータ） (2023-09-15T01:28:59Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• R2-Trans:Fine-Grained Visual Categorization with Redundancy Reduction [21.11038841356125]
  細粒度視覚分類(FGVC)は、クラス内の大きな多様性と微妙なクラス間差が主な課題である類似のサブカテゴリを識別することを目的としている。 本稿では,FGVCに対する新たなアプローチを提案する。FGVCは,環境条件における部分的かつ十分な識別情報を同時に利用でき,また,対象物に対するクラストークンにおける冗長情報を圧縮することができる。
  論文  参考訳（メタデータ） (2022-04-21T13:35:38Z)
• Channel DropBlock: An Improved Regularization Method for Fine-Grained Visual Classification [58.07257910065007]
  既存のアプローチは主に、識別的部分を見つけるための注意機構や、高度にパラメータ化された特徴を弱教師付きで抽出する特徴符号化アプローチを導入することでこの問題に対処している。 本研究では,CDB(Channel DropBlock)と呼ばれる軽量で効果的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T09:03:02Z)
• Interpretable Attention Guided Network for Fine-grained Visual Classification [36.657203916383594]
  細かい粒度の視覚分類(FGVC)は困難ですが、従来の分類タスクよりも重要です。 細粒度視覚分類のための解釈型注意誘導ネットワーク(IAGN)を提案する。
  論文  参考訳（メタデータ） (2021-03-08T12:27:51Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)
• Fine-Grained Visual Classification via Progressive Multi-Granularity Training of Jigsaw Patches [67.51747235117]
  きめ細かい視覚分類(FGVC)は従来の分類よりもはるかに難しい。 最近の研究は主に、最も差別的な部分の発見に焦点をあてることによってこの問題に対処している。 本稿では,これらの問題に対処するための視覚的細粒度分類のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-03-08T19:27:30Z)
• Weakly Supervised Attention Pyramid Convolutional Neural Network for Fine-Grained Visual Classification [71.96618723152487]
  注意ピラミッド畳み込みニューラルネットワーク(AP-CNN)について紹介する。 AP-CNNは高レベルのセマンティックと低レベルの詳細な特徴表現の両方を学ぶ。 追加のバウンディングボックス/パートアノテーションを必要とせずに、エンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-02-09T12:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。