Fugu-MT 論文翻訳(概要): A Note on Knowledge Distillation Loss Function for Object Classification

論文の概要: A Note on Knowledge Distillation Loss Function for Object Classification

arxiv url: http://arxiv.org/abs/2109.06458v3
Date: Tue, 27 Aug 2024 09:09:05 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 20:36:52.062744
Title: A Note on Knowledge Distillation Loss Function for Object Classification
Title（参考訳）: オブジェクト分類のための知識蒸留損失関数に関する一考察
Authors: Defang Chen,
Abstract要約: 本研究ノートでは, オブジェクト分類における知識蒸留損失関数について紹介する。これまでに提案したロジットマッチング損失関数との関係について論じる。我々は、知識蒸留を出力正則化の特定の形態として扱い、ラベルの平滑化とエントロピーに基づく正則化との関係を実証する。
参考スコア（独自算出の注目度）: 5.213171577661182
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This research note provides a quick introduction to the knowledge distillation loss function used in object classification. In particular, we discuss its connection to a previously proposed logits matching loss function. We further treat knowledge distillation as a specific form of output regularization and demonstrate its connection to label smoothing and entropy-based regularization.
Abstract（参考訳）: 本研究ノートでは, オブジェクト分類における知識蒸留損失関数について紹介する。特に,従来提案されていたロジット整合損失関数との関係について論じる。さらに、知識蒸留を出力正則化の特定の形態として扱い、ラベルの平滑化とエントロピーに基づく正則化との関連性を実証する。

関連論文リスト

Exploring Feature-based Knowledge Distillation For Recommender System: A Frequency Perspective [4.1752785943044985]
周波数の観点から特徴量に基づく知識蒸留を推奨するために分析する。我々は,知識重みを再分配することによって重要な知識を強調することを提案する。広範囲にわたる実験により、FreqDはレコメンダシステムに対する最先端の知識蒸留法よりも一貫して、著しく優れていることが示された。
論文参考訳（メタデータ） (2024-11-16T02:41:12Z)
Feature Adversarial Distillation for Point Cloud Classification [4.8229512034776]
本稿では, ポイントクラウド蒸留における汎用的対向損失関数であるFeature Adversarial Distillation (FAD)法を提案し, 知識伝達時の損失を低減する。モデルNet40およびScanObjectNNデータセットの標準点クラウド分類実験において,40倍モデル圧縮における蒸留における知識伝達の情報損失を低減した。
論文参考訳（メタデータ） (2023-06-25T12:05:46Z)
Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文参考訳（メタデータ） (2022-09-20T16:36:28Z)
Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
論文参考訳（メタデータ） (2022-07-12T01:54:25Z)
Localization Distillation for Object Detection [134.12664548771534]
物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
論文参考訳（メタデータ） (2022-04-12T17:14:34Z)
Distill-VQ: Learning Retrieval Oriented Vector Quantization By Distilling Knowledge from Dense Embeddings [50.903547893204234]
本稿では,IVF と PQ の学習を知識蒸留フレームワーク内で統合する Distill-VQ を提案する。 VQモジュールは、予測された関連性を再現するために学習される「学生」として扱われる。これによってDistill-VQは、大量のラベルのないデータから、相当量のトレーニング信号を導き出すことができる。
論文参考訳（メタデータ） (2022-04-01T03:30:40Z)
Response-based Distillation for Incremental Object Detection [2.337183337110597]
従来の物体検出は漸進的な学習には不適当である。新しいデータのみを用いて、よく訓練された検出モデルを直接微調整することで、破滅的な忘れを招きます。本研究では,検出境界ボックスからの学習応答と分類予測に着目した完全応答に基づくインクリメンタル蒸留法を提案する。
論文参考訳（メタデータ） (2021-10-26T08:07:55Z)
Instance-Conditional Knowledge Distillation for Object Detection [59.56780046291835]
所望の知識を求めるために,インスタンス条件蒸留フレームワークを提案する。我々は、観測されたインスタンスを条件情報として使用し、検索プロセスをインスタンス条件の復号プロセスとして定式化する。
論文参考訳（メタデータ） (2021-10-25T08:23:29Z)
Label Assignment Distillation for Object Detection [0.0]
我々は,オブジェクト検出におけるラベル割り当てに着目した,単純だが効果的な知識蒸留手法を考案した。提案手法は, MSCOCO 2017ベンチマークで有望な結果を示す。
論文参考訳（メタデータ） (2021-09-16T10:11:58Z)
Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。本手法では,論理文の正確な意味を捉える意味的損失を用いる。低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文参考訳（メタデータ） (2021-03-20T00:16:29Z)
Distilling Causal Effect of Data in Class-Incremental Learning [109.680987556265]
CIL(Class-Incremental Learning)における破滅的な忘れ方を説明するための因果的枠組みを提案する。我々は,データ再生や特徴・ラベル蒸留といった既存のアンチフォジット手法を緩和する新しい蒸留法を考案した。
論文参考訳（メタデータ） (2021-03-02T14:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。