論文の概要: Proto2Proto: Can you recognize the car, the way I do?

• arxiv url: http://arxiv.org/abs/2204.11830v1
• Date: Mon, 25 Apr 2022 17:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 15:03:02.178862
• Title: Proto2Proto: Can you recognize the car, the way I do?
• Title（参考訳）: Proto2Proto: 私のやり方で、車を認識できますか?
• Authors: Monish Keswani, Sriranjani Ramakrishnan, Nishant Reddy, Vineeth N Balasubramanian
• Abstract要約: Proto2Protoは、知識蒸留により、ある部分ネットワークの解釈可能性を別の部分へ伝達する新しい方法である。 本手法は,教師からより浅い学生モデルに伝達される「暗黒」知識に解釈可能性を加えることを目的としている。 実験の結果,提案手法は,教師から生徒への解釈可能性の伝達を同時に達成し,同時に競争性能を発揮できることがわかった。
• 参考スコア（独自算出の注目度）: 23.09799187888976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prototypical methods have recently gained a lot of attention due to their intrinsic interpretable nature, which is obtained through the prototypes. With growing use cases of model reuse and distillation, there is a need to also study transfer of interpretability from one model to another. We present Proto2Proto, a novel method to transfer interpretability of one prototypical part network to another via knowledge distillation. Our approach aims to add interpretability to the "dark" knowledge transferred from the teacher to the shallower student model. We propose two novel losses: "Global Explanation" loss and "Patch-Prototype Correspondence" loss to facilitate such a transfer. Global Explanation loss forces the student prototypes to be close to teacher prototypes, and Patch-Prototype Correspondence loss enforces the local representations of the student to be similar to that of the teacher. Further, we propose three novel metrics to evaluate the student's proximity to the teacher as measures of interpretability transfer in our settings. We qualitatively and quantitatively demonstrate the effectiveness of our method on CUB-200-2011 and Stanford Cars datasets. Our experiments show that the proposed method indeed achieves interpretability transfer from teacher to student while simultaneously exhibiting competitive performance.
• Abstract（参考訳）: 原型的手法は最近、その内在的な解釈可能な性質によって多くの注目を集め、プロトタイプを通じて得られた。 モデル再利用と蒸留のユースケースの増加に伴い、あるモデルから別のモデルへの解釈可能性の移動の研究も必要となる。 Proto2Protoは1つの原型部分ネットワークの解釈可能性を知識蒸留により別のものに伝達する新しい方法である。 本研究の目的は,教師からより浅い学生モデルに移行した「暗黒」知識に解釈可能性を加えることである。 本稿では,「グローバル・リゾリューション」損失と「パッチ・プロトタイプ対応」損失の2つの新たな損失を提案する。 Global Explanation Losは学生のプロトタイプを教師のプロトタイプに近いものにし、Patch-Prototype Correspondence Losは生徒のローカル表現を教師のものと似ているように強制する。 さらに,教師と教師の親密性を評価するための3つの新しい指標を提案する。 CUB-200-2011 およびStanford Cars データセット上で,本手法の有効性を質的に定量的に検証した。 提案手法が教師から生徒への解釈可能性の伝達を実際に達成し,同時に競争性能を発揮できることを示す。

関連論文リスト

• Predefined Prototypes for Intra-Class Separation and Disentanglement [10.005120138175206]
  原型学習は、クラスの埋め込みがクラスタ化される点(プロトタイプと呼ぶ)があるという考えに基づいている。 我々は、トレーニングパイプラインを簡素化し、異なる利点をもたらす、人間の特定基準に従ってプロトタイプを事前定義することを提案する。
  論文  参考訳（メタデータ） (2024-06-23T15:52:23Z)
• I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation [1.433758865948252]
  本稿では,イメージセマンティックセグメンテーションに適した新しい知識蒸留法を提案する。 本手法の焦点は,教師(面倒なモデル)と生徒(コンパクトモデル)の中間層間の知識の獲得と伝達である。
  論文  参考訳（メタデータ） (2024-03-27T12:05:22Z)
• Distilling Efficient Vision Transformers from CNNs for Semantic Segmentation [12.177329445930276]
  我々はC2VKDと呼ばれる新しいCNN-to-ViT KDフレームワークを提案する。 まず視覚的特徴蒸留(VLFD)モジュールを提案する。 そこで我々は,ラベルと教師の予測とを併用して学生を監督する,画素ワイド・デカップリング蒸留(PDD)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:45:37Z)
• It's All in the Head: Representation Knowledge Distillation through Classifier Sharing [0.29360071145551075]
  教師と学生間の分類器共有による表現蒸留の促進のための2つのアプローチを提案する。 提案手法は, 画像分類, きめ細かい分類, 顔認証など, 様々なデータセットやタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-18T13:10:36Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。