論文の概要: Delta Distillation for Efficient Video Processing

• arxiv url: http://arxiv.org/abs/2203.09594v1
• Date: Thu, 17 Mar 2022 20:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 09:00:13.776963
• Title: Delta Distillation for Efficient Video Processing
• Title（参考訳）: 効率的なビデオ処理のためのデルタ蒸留
• Authors: Amirhossein Habibian, Haitam Ben Yahia, Davide Abati, Efstratios Gavves, Fatih Porikli
• Abstract要約: デルタ蒸留と呼ばれる新しい知識蒸留方式を提案する。 ビデオフレーム内の時間的冗長性により,これらの時間的変動を効果的に蒸留できることを実証した。 副産物として、デルタ蒸留は教師モデルの時間的一貫性を向上させる。
• 参考スコア（独自算出の注目度）: 68.81730245303591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims to accelerate video stream processing, such as object detection and semantic segmentation, by leveraging the temporal redundancies that exist between video frames. Instead of propagating and warping features using motion alignment, such as optical flow, we propose a novel knowledge distillation schema coined as Delta Distillation. In our proposal, the student learns the variations in the teacher's intermediate features over time. We demonstrate that these temporal variations can be effectively distilled due to the temporal redundancies within video frames. During inference, both teacher and student cooperate for providing predictions: the former by providing initial representations extracted only on the key-frame, and the latter by iteratively estimating and applying deltas for the successive frames. Moreover, we consider various design choices to learn optimal student architectures including an end-to-end learnable architecture search. By extensive experiments on a wide range of architectures, including the most efficient ones, we demonstrate that delta distillation sets a new state of the art in terms of accuracy vs. efficiency trade-off for semantic segmentation and object detection in videos. Finally, we show that, as a by-product, delta distillation improves the temporal consistency of the teacher model.
• Abstract（参考訳）: 本稿では,ビデオフレーム間に存在する時間的冗長性を利用して,オブジェクト検出やセマンティックセグメンテーションなどのビデオストリーム処理を高速化することを目的とする。 光フローなどの運動アライメントを用いた伝播・ワープ機能の代わりに,デルタ蒸留という新しい知識蒸留方式を提案する。 本提案では,教師の中間的特徴の変動を時間とともに学習する。 ビデオフレーム内の時間的冗長性により,これらの時間変化を効果的に蒸留できることを実証する。 推論の間、教師と生徒は共に予測を提供するために協力し、前者はキーフレーム上でのみ抽出された初期表現を提供し、後者は連続したフレームに対してデルタを反復的に推定して適用する。 さらに,エンド・ツー・エンドの学習可能なアーキテクチャ探索を含む最適な学生アーキテクチャを学ぶために,様々な設計選択を検討する。 最も効率的なものを含む、幅広いアーキテクチャに関する広範な実験により、デルタ蒸留は、ビデオにおけるセマンティックセグメンテーションとオブジェクト検出の効率のトレードオフに対して、その技術の新たな状態を設定することを示した。 最後に,副産物としてデルタ蒸留が教師モデルの時間的一貫性を向上させることを示す。

関連論文リスト

• The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
  ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。 本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。 提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-07-11T12:10:42Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition [68.53072549422775]
  学生教師による半教師付き学習フレームワークTimeBalanceを提案する。 時間的に不変であり,時間的に異なる教師から知識を抽出する。 提案手法は,3つの動作認識ベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T19:28:54Z)
• DisWOT: Student Architecture Search for Distillation WithOut Training [0.0]
  我々は,教師にとって最高の学生アーキテクチャを探すための,新しい学習自由フレームワークを探究する。 我々の研究は、バニラトレーニングにおける最適モデルが蒸留の勝者にはならないことを実証的に示している。 CIFAR, ImageNet, NAS-Bench-201 を用いた実験により, 異なる検索空間における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-03-28T01:58:45Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
  正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。 提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
  論文  参考訳（メタデータ） (2022-07-12T01:54:25Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• Collaborative Distillation in the Parameter and Spectrum Domains for Video Action Recognition [79.60708268515293]
  本稿では,行動認識のための小型かつ効率的なネットワークの訓練方法について検討する。 周波数領域における2つの蒸留戦略,すなわち特徴スペクトルとパラメータ分布蒸留を提案する。 提案手法は,同じバックボーンを持つ最先端の手法よりも高い性能を実現することができる。
  論文  参考訳（メタデータ） (2020-09-15T07:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。