論文の概要: Complementary Relation Contrastive Distillation

• arxiv url: http://arxiv.org/abs/2103.16367v1
• Date: Mon, 29 Mar 2021 02:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 14:53:26.241097
• Title: Complementary Relation Contrastive Distillation
• Title（参考訳）: 相補的コントラスト蒸留
• Authors: Jinguo Zhu and Shixiang Tang and Dapeng Chen and Shijie Yu and Yakun Liu and Aijun Yang and Mingzhe Rong and Xiaohua Wang
• Abstract要約: CRCD(Complementary Relation Contrastive Distillation)という新しい知識蒸留法を提案する。 我々は,アンカー-教師関係の監督の下で,アンカー-教師関係を推定し,アンカー-教師関係を蒸留する。 異なるベンチマーク実験により,提案したCRCDの有効性が示された。
• 参考スコア（独自算出の注目度）: 13.944372633594085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation aims to transfer representation ability from a teacher model to a student model. Previous approaches focus on either individual representation distillation or inter-sample similarity preservation. While we argue that the inter-sample relation conveys abundant information and needs to be distilled in a more effective way. In this paper, we propose a novel knowledge distillation method, namely Complementary Relation Contrastive Distillation (CRCD), to transfer the structural knowledge from the teacher to the student. Specifically, we estimate the mutual relation in an anchor-based way and distill the anchor-student relation under the supervision of its corresponding anchor-teacher relation. To make it more robust, mutual relations are modeled by two complementary elements: the feature and its gradient. Furthermore, the low bound of mutual information between the anchor-teacher relation distribution and the anchor-student relation distribution is maximized via relation contrastive loss, which can distill both the sample representation and the inter-sample relations. Experiments on different benchmarks demonstrate the effectiveness of our proposed CRCD.
• Abstract（参考訳）: 知識蒸留は教師モデルから生徒モデルへの表現能力の移転を目標としている。 以前のアプローチでは、個々の表現蒸留またはサンプル間の類似性保存に重点を置いている。 サンプル間の関係は豊富な情報を伝達し、より効果的な方法で蒸留する必要があると論じる。 本稿では,教師から学生へ構造的知識を伝達するための新しい知識蒸留法,すなわち,補完関係比較蒸留(CRCD)を提案する。 具体的には,アンカーベースで相互関係を推定し,アンカー-教師関係の監督下でアンカー-学生関係を蒸留する。 より堅牢にするために、相互関係は2つの相補的な要素、すなわち特徴と勾配によってモデル化される。 さらに、アンカー-教師関係分布とアンカー-学生関係分布との間の相互情報のローバウンドは、サンプル表現とサンプル間関係の両方を蒸留できる関係コントラスト損失により最大化される。 異なるベンチマーク実験により,提案したCRCDの有効性が示された。

関連論文リスト

• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Improving Continual Relation Extraction by Distinguishing Analogous Semantics [11.420578494453343]
  連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。 既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。 我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
  論文  参考訳（メタデータ） (2023-05-11T07:32:20Z)
• CORSD: Class-Oriented Relational Self Distillation [16.11986532440837]
  知識蒸留は、いくつかの制限を保ちながら効果的なモデル圧縮方法を実行する。 制約に対処するために,クラス指向自己蒸留(CORSD)という新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-28T16:00:31Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Information Theoretic Representation Distillation [20.802135299032308]
  情報理論と知識蒸留の代替関係を,最近提案したエントロピー様関数を用いて構築する。 本手法は,知識蒸留とクロスモデル伝達タスクの最先端技術に対する競争性能を実現する。 バイナリ量子化のための新しい最先端技術に光を当てた。
  論文  参考訳（メタデータ） (2021-12-01T12:39:50Z)
• PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval [87.68667887072324]
  本稿では,クエリ中心とPAssage中心のsmilarity Relations(PAIR)を併用した新しい手法を提案する。 本稿では,2種類の類似性関係の形式的定式化を導入することにより,3つの主要な技術的貢献を行う。 MSMARCOとNatural Questionsの両方のデータセットにおいて、従来の最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-08-13T02:07:43Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。