GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition
Abstractの概要
本論文は、部位構造化歩行認識モデルのための知識蒸留フレームワークGaitKDを提案している。教師から生徒への知識転送を、部位単位のロジットに対する決定レベル蒸留（温度スケーリングされたKLダイバージェンスによる）と、部位単位の埋め込みに対する境界レベル蒸留（活性化境界目的関数による）の2つの補完的成分に分解する。本フレームワークは、共有された部位単位空間を通じて異種の教師・生徒出力を整合させ、厳密な特徴マッチングを回避し、バックボーンの変更や追加の推論コストを必要としない。GaitKDはまた、ロジット分布のアンサンブルと境界集約によるマルチ教師蒸留もサポートする。Gait3D、CCPG、SUSTech1Kでの実験により、単一教師およびマルチ教師設定の両方で、GaitBase生徒ベースラインに対する一貫した性能向上が実証された。
新規性
主な新規性は、部位構造化歩行モデルに特化した分離型蒸留定式化であり、教師の知識をクラス間決定関係（部位キャリブレーションされたロジット蒸留による）と埋め込み空間の境界構造（特徴値の回帰ではなく符号ベースの分割を保存する活性化境界目的関数による）の両方として転送する。さらに特徴的な点は、同一の統一部位単位インターフェース内での分布レベルアンサンブルと境界集約を通じたマルチ教師蒸留のサポートである。
成果
GaitKDは3つのベンチマークでGaitBase生徒のベースラインを一貫して改善する：Gait3DではRank-1が61.5%から、DeepGaitV2を教師とした場合63.3%に、DeepGaitV2+SwinGaitのマルチ教師蒸留で65.8%に向上；CCPGでは平均スコアが88.2%から91.9%（単一教師）および93.1%（マルチ教師）に上昇；SUSTech1Kでは最良のマルチ教師設定でRank-1が78.6%に到達する。アブレーション実験により、決定レベルと境界レベルの転送の組み合わせがいずれか単独より優れること、および異種教師・生徒ミスマッチ下で境界保存転送が直接的な特徴回帰よりも高いRank-1性能を提供することが確認された。
論文の注目点
- GaitKDは、部位キャリブレーションされたロジット転送（決定レベル）と活性化境界ベースの埋め込み転送（境界レベル）の2つの補完的ブランチを通じて歩行知識を蒸留し、共有された整合部位単位空間上で動作する。
- 本フレームワークはバックボーンの変更なしに異種およびマルチ教師構成をサポートし、推論時には生徒のみを使用するため、デプロイメントコストの追加がない。
- Gait3D、CCPG、SUSTech1Kでの実験により、単一教師およびマルチ教師設定の両方で一貫した生徒の改善が示され、アブレーションにより2つの転送成分の補完性および点単位の特徴回帰に対する境界保存蒸留の優位性が確認された。