論文の概要: Unlimited Knowledge Distillation for Action Recognition in the Dark

• arxiv url: http://arxiv.org/abs/2308.09327v1
• Date: Fri, 18 Aug 2023 06:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 14:14:19.473355
• Title: Unlimited Knowledge Distillation for Action Recognition in the Dark
• Title（参考訳）: 闇における行動認識のための無限知識蒸留
• Authors: Ruibing Jin, Guosheng Lin, Min Wu, Jie Lin, Zhengguo Li, Xiaoli Li and Zhenghua Chen
• Abstract要約: 既存の知識組み立て手法では、複数の教師モデルからの知識を学生モデルに抽出するために大量のGPUメモリを必要とする。 本稿では,無制限な知識蒸留(UKD)を提案する。 実験の結果,UKDで蒸留した単一ストリームネットワークは2ストリームネットワークを超えていることがわかった。
• 参考スコア（独自算出の注目度）: 69.16824521829024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dark videos often lose essential information, which causes the knowledge learned by networks is not enough to accurately recognize actions. Existing knowledge assembling methods require massive GPU memory to distill the knowledge from multiple teacher models into a student model. In action recognition, this drawback becomes serious due to much computation required by video process. Constrained by limited computation source, these approaches are infeasible. To address this issue, we propose an unlimited knowledge distillation (UKD) in this paper. Compared with existing knowledge assembling methods, our UKD can effectively assemble different knowledge without introducing high GPU memory consumption. Thus, the number of teaching models for distillation is unlimited. With our UKD, the network's learned knowledge can be remarkably enriched. Our experiments show that the single stream network distilled with our UKD even surpasses a two-stream network. Extensive experiments are conducted on the ARID dataset.
• Abstract（参考訳）: ダークビデオはしばしば重要な情報を失うため、ネットワークによって学習された知識はアクションを正確に認識するには不十分である。 既存の知識組み立て手法では、複数の教師モデルからの知識を学生モデルに抽出するために大量のGPUメモリを必要とする。 アクション認識では、この欠点はビデオ処理に必要な計算量によって深刻になる。 限られた計算源によって制約を受けると、これらのアプローチは実現不可能である。 この問題に対処するため,本稿では,無制限の知識蒸留(UKD)を提案する。 既存の知識集合法と比較すると,我々のUKDは高いGPUメモリ消費を伴わずに,様々な知識を効果的に組み立てることができる。 したがって、蒸留の指導モデルの数は無制限である。 我々のUKDでは、ネットワークの学習知識は著しく豊かになる。 実験の結果,ukdで蒸留した単一ストリームネットワークが2ストリームネットワークを超えることさえわかった。 大規模な実験はARIDデータセット上で行われる。

関連論文リスト

• DL-KDD: Dual-Light Knowledge Distillation for Action Recognition in the Dark [2.941253902145271]
  暗黒における行動認識のためのDual-Light KnowleDge Distillation for Action Recognition (DL-KDD) という教師によるビデオ分類フレームワークを提案する。 このフレームワークは、推論中に追加の計算コストを導入することなく、オリジナルのビデオと拡張ビデオの両方から学習することができる。 実験では,提案するDL-KDDフレームワークがARID,ARID V1.5,Dark-48データセットの最先端手法より優れていた。
  論文  参考訳（メタデータ） (2024-06-04T16:38:06Z)
• Cooperative Knowledge Distillation: A Learner Agnostic Approach [15.414204257189596]
  我々は、多くのモデルが学生と教師の両方として機能する新しいタイプの知識蒸留を定式化する。 異なるモデルが異なる長所と短所を持っている可能性があるため、すべてのモデルは生徒または教師として振る舞うことができる。
  論文  参考訳（メタデータ） (2024-02-02T17:31:50Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Extracting knowledge from features with multilevel abstraction [3.4443503349903124]
  自己知識蒸留(SKD)は、大きな教師モデルから小さな学生モデルに知識を移すことを目的としている。 本稿では,本手法と異なる方法で,新しいSKD手法を提案する。 実験とアブレーション研究は、様々なタスクにおいて、その大きな効果と一般化を示している。
  論文  参考訳（メタデータ） (2021-12-04T02:25:46Z)
• Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification [57.5041270212206]
  本稿では,アンカー画像のためのソフトターゲットを生成するために,BAtch Knowledge Ensembling (BAKE)を提案する。 BAKEは、1つのネットワークだけで複数のサンプルを網羅するオンライン知識を実現する。 既存の知識集合法と比較して計算とメモリのオーバーヘッドは最小限である。
  論文  参考訳（メタデータ） (2021-04-27T16:11:45Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Progressive Network Grafting for Few-Shot Knowledge Distillation [60.38608462158474]
  本稿では, 数ショットデータに適した二段蒸留方式を提案する。 最初のステップでは、生徒のブロックを1つずつ教師に移植し、移植されたブロックのパラメータと他の教師ブロックのパラメータを学習します。 CIFAR10, CIFAR100, ILSVRC-2012で, わずか数サンプルで, 満足のいく結果が得られることを実証した。
  論文  参考訳（メタデータ） (2020-12-09T08:34:36Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。