論文の概要: Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
- arxiv url: http://arxiv.org/abs/2609.13024v1
- Date: Fri, 11 Sep 2026 16:21:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.806292
- Title: Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
- Title（参考訳）: 行動認識における3次元CNNのためのラベル誘導型知識蒸留
- Abstract要約: 本稿では,学生モデルの特徴の蒸留を地中真理ラベルを用いて指導するために,LGKD (Label-Guided Knowledge Distillation) を導入する。
本手法では, サンプルワイド蒸留とクラスワイド蒸留の2つの要素を包含し, 教師モデルの特徴表現を2段階に分けて学習する。
- 参考スコア（独自算出の注目度）: 10.351322944851095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a key model compression technique, knowledge distillation aims to transfer knowledge from a high-capacity teacher model to a lightweight student model for enhancing the latter's performance. In this work, we reviewed the feature knowledge distillation for 3D-CNNs and observed that most feature distillation methods in video analysis are simple adaptations of those used in image analysis, often neglecting the differences of video features in the temporal dimension. To address this issue, we proposed Label-Guided Knowledge Distillation (LGKD) to guide the distillation of student model features using ground truth labels. Our method entails two components: sample-wise distillation and class-wise distillation, enabling the student model to learn feature representation of the teacher model at two levels. Sample-wise distillation utilizes label information and the teacher's probability distribution to guide the learning of features that significantly impact temporal accuracy while mitigating noise. Meanwhile, class-wise feature distillation employs a prototype network to further capture the relational knowledge among samples within the same category, enhancing the student's ability to learn higher-dimensional semantic information and improving model generalization. To demonstrate the effectiveness and superiority of our method, we conducted comprehensive experiments on two benchmark action recognition datasets, UCF101 and HMDB51, achieving competitive results.
- Abstract（参考訳）: キーモデル圧縮技術として、知識蒸留は、高容量教師モデルから軽量学生モデルに知識を伝達し、後者のパフォーマンスを向上させることを目的としている。
本研究では,3D-CNNの特徴的知識蒸留を概観し,ビデオ解析における特徴的蒸留法のほとんどは画像解析で用いられるものに対する単純な適応であり,時間次元における映像特徴の違いを無視することが多いことを考察した。
この問題に対処するため,我々は,地上の真理ラベルを用いた学生モデル特徴の蒸留を指導するラベル誘導知識蒸留(LGKD)を提案した。
本手法では, サンプルワイド蒸留とクラスワイド蒸留の2つの要素を包含し, 教師モデルの特徴表現を2段階に分けて学習する。
サンプルワイド蒸留はラベル情報と教師の確率分布を利用して、ノイズを緩和しながら時間的精度に大きな影響を及ぼす特徴の学習を指導する。
一方、クラスワイド・フィーチャー蒸留では、同一カテゴリ内のサンプル間の関係知識をさらに捉え、高次元のセマンティック情報学習能力を高め、モデル一般化を改善するためにプロトタイプネットワークを採用している。
提案手法の有効性と優位性を実証するため,UCF101とHMDB51という2つのベンチマーク行動認識データセットを用いて総合的な実験を行い,競争力のある結果を得た。
関連論文リスト
- Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation [63.302074484672424]
本稿では,知識蒸留のための教育的な枠組みを提案する。
提案手法は,学生モデルにおける知識不足を識別し,進歩的カリキュラムを通して知識提供を組織化し,学生モデルの認知能力に合わせた表現を適応させる。
我々のフレームワークは特に複雑な推論タスクに優れており、最先端のベースラインと比較してMATHが19.2%、HumanEvalが22.3%改善している。
論文 参考訳（メタデータ） (2026-02-12T17:00:36Z) - Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。
UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2025-04-19T14:08:56Z) - Dual Knowledge Distillation for Efficient Sound Event Detection [20.236008919003083]
音響信号中の特定の音とその時間的位置を認識するには,音事象検出(SED)が不可欠である。
本稿では,効率的なSEDシステムの開発を目的とした,二重知識蒸留と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T07:30:32Z) - Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップ
これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。
DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文 参考訳（メタデータ） (2023-05-25T04:49:34Z) - AD-KD: Attribution-Driven Knowledge Distillation for Language Model
Compression [26.474962405945316]
本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。
モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
論文 参考訳（メタデータ） (2023-05-17T07:40:12Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。
提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
論文 参考訳（メタデータ） (2022-07-12T01:54:25Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - Self Regulated Learning Mechanism for Data Efficient Knowledge
Distillation [8.09591217280048]
教師モデルから学生モデルへ知識を移行するための新しいデータ効率の高いアプローチを提示する。
教師モデルは、訓練に適切なサンプルを選択し、その過程におけるその重要性を特定するために自己規制を用いる。
蒸留中は、学生を監督するソフトターゲットと共に重要な情報を利用することができる。
論文 参考訳（メタデータ） (2021-02-14T10:43:13Z) - Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。
一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。
これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文 参考訳（メタデータ） (2020-06-12T12:18:52Z) - Understanding and Improving Knowledge Distillation [13.872105118381938]
知識蒸留(KD)はモデルに依存しない手法であり、固定容量の予算を持ちながらモデル品質を改善する。
本稿では,教師の知識を3つの階層レベルに分類し,その知識蒸留への影響について検討する。
論文 参考訳（メタデータ） (2020-02-10T04:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。