論文の概要: Dual Expert Distillation Network for Generalized Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2404.16348v2
• Date: Mon, 29 Apr 2024 14:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 20:19:52.580297
• Title: Dual Expert Distillation Network for Generalized Zero-Shot Learning
• Title（参考訳）: 汎用ゼロショット学習のためのデュアルエキスパート蒸留ネットワーク
• Authors: Zhijie Rao, Jingcai Guo, Xiaocheng Lu, Jingming Liang, Jie Zhang, Haozhao Wang, Kang Wei, Xiaofeng Cao,
• Abstract要約: ゼロショット学習は、ニュアンス付き1対1の視覚属性相関を通じて、常に顕著な進歩をもたらした。 既存の研究では、サンプル領域とサブ属性を整列して相関する一様写像関数を精製する。 本稿では,2人の専門家が粗くきめ細かな視覚属性モデリングを専門とするDEDN(Dual Expert Distillation Network)という,シンプルで効果的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 14.583852776117647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot learning has consistently yielded remarkable progress via modeling nuanced one-to-one visual-attribute correlation. Existing studies resort to refining a uniform mapping function to align and correlate the sample regions and subattributes, ignoring two crucial issues: 1) the inherent asymmetry of attributes; and 2) the unutilized channel information. This paper addresses these issues by introducing a simple yet effective approach, dubbed Dual Expert Distillation Network (DEDN), where two experts are dedicated to coarse- and fine-grained visual-attribute modeling, respectively. Concretely, one coarse expert, namely cExp, has a complete perceptual scope to coordinate visual-attribute similarity metrics across dimensions, and moreover, another fine expert, namely fExp, consists of multiple specialized subnetworks, each corresponds to an exclusive set of attributes. Two experts cooperatively distill from each other to reach a mutual agreement during training. Meanwhile, we further equip DEDN with a newly designed backbone network, i.e., Dual Attention Network (DAN), which incorporates both region and channel attention information to fully exploit and leverage visual semantic knowledge. Experiments on various benchmark datasets indicate a new state-of-the-art.
• Abstract（参考訳）: ゼロショット学習は、ニュアンス付き1対1の視覚属性相関をモデル化することで、常に顕著な進歩をもたらした。 既存の研究では、サンプル領域とサブ属性を整列・相関する一様マッピング関数を精錬し、二つの重要な問題を無視している。 1) 属性の固有の非対称性,及び 2)未利用チャンネル情報。 本稿では,2人の専門家がそれぞれ粗くきめ細かな視覚属性モデリングを専門とするDEDN(Dual Expert Distillation Network)という,シンプルで効果的なアプローチを導入することで,これらの課題に対処する。 具体的には、ある粗い専門家、すなわち cExp は、次元をまたいだ視覚-属性の類似度を調整するための完全な知覚スコープを持ち、さらに別の優れた専門家、すなわち fExp は複数の特別なサブネットワークで構成され、それぞれが独占的な属性セットに対応している。 2人の専門家が互いに協力して蒸留し、トレーニング中に相互合意に達する。 一方,DEDNには新たに設計されたバックボーンネットワークであるDual Attention Network(DAN)が組み込まれている。 さまざまなベンチマークデータセットの実験は、新しい最先端を示す。

関連論文リスト

• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [32.80872775195836]
  一般化可能な車両再識別(ReID)は、様々なソースドメインでよく訓練されたモデルが、未知のターゲットドメインに広く適応できるようにすることを目的としている。 依然としてドメインシフトの問題に直面しており、未知のターゲットドメインに正確に一般化することは困難である。 本稿では,2段階のMulti-expert Knowledge Confrontation and Collaboration (MiKeCoCo)法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• Dual Relation Mining Network for Zero-Shot Learning [48.89161627050706]
  本稿では,効果的な視覚・意味的相互作用を実現し,知識伝達のための属性間の意味的関係を学習するためのDual Relation Mining Network(DRMN)を提案する。 具体的には,多層的特徴融合により視覚情報を強化する視覚・意味的関係マイニングのためのデュアルアテンションブロック(DAB)を提案する。 セマンティック・インタラクション・トランスフォーマ(SIT)を用いて画像間の属性表現の一般化を促進する。
  論文  参考訳（メタデータ） (2024-05-06T16:31:19Z)
• Mutual Distillation Learning For Person Re-Identification [27.350415735863184]
  MDPR(Multual Distillation Learning for Person Re-identification)という新しい手法を提案する。 本手法は,一様水平分割戦略により局所特徴を抽出するハードコンテンツブランチと,前景と背景を動的に区別するソフトコンテンツブランチの2つを含む。 提案手法はDukeC-reIDデータセット上のmAP/Rank-1の8.7%/94.4%の驚くべき値を得る。
  論文  参考訳（メタデータ） (2024-01-12T07:49:02Z)
• Dual Feature Augmentation Network for Generalized Zero-shot Learning [14.410978100610489]
  ゼロショット学習 (ZSL) は,見知らぬクラスから知識を伝達することによって,サンプルを訓練せずに新しいクラスを推論することを目的としている。 ZSLの既存の埋め込みベースのアプローチは、画像上の属性を見つけるために注意機構を用いるのが一般的である。 本稿では,2つの機能拡張モジュールからなる新しいDual Feature Augmentation Network (DFAN)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T02:37:52Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Dual-Level Collaborative Transformer for Image Captioning [126.59298716978577]
  2つの機能の補完的な利点を実現するために、新しいデュアルレベルコラボレーショントランス(DLCT)ネットワークを紹介します。 さらに,これらの2つの特徴の直接融合によって生じる意味的雑音に対処するために,局所性制約付きクロスアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-16T15:43:17Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。