論文の概要: Efficient Crowd Counting via Structured Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2003.10120v3
• Date: Tue, 11 Aug 2020 15:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 00:17:14.376717
• Title: Efficient Crowd Counting via Structured Knowledge Transfer
• Title（参考訳）: 構造化知識伝達による効率的な集団カウント
• Authors: Lingbo Liu, Jiaqi Chen, Hefeng Wu, Tianshui Chen, Guanbin Li, Liang Lin
• Abstract要約: クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
• 参考スコア（独自算出の注目度）: 122.30417437707759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowd counting is an application-oriented task and its inference efficiency is crucial for real-world applications. However, most previous works relied on heavy backbone networks and required prohibitive run-time consumption, which would seriously restrict their deployment scopes and cause poor scalability. To liberate these crowd counting models, we propose a novel Structured Knowledge Transfer (SKT) framework, which fully exploits the structured knowledge of a well-trained teacher network to generate a lightweight but still highly effective student network. Specifically, it is integrated with two complementary transfer modules, including an Intra-Layer Pattern Transfer which sequentially distills the knowledge embedded in layer-wise features of the teacher network to guide feature learning of the student network and an Inter-Layer Relation Transfer which densely distills the cross-layer correlation knowledge of the teacher to regularize the student's feature evolutio Consequently, our student network can derive the layer-wise and cross-layer knowledge from the teacher network to learn compact yet effective features. Extensive evaluations on three benchmarks well demonstrate the effectiveness of our SKT for extensive crowd counting models. In particular, only using around $6\%$ of the parameters and computation cost of original models, our distilled VGG-based models obtain at least 6.5$\times$ speed-up on an Nvidia 1080 GPU and even achieve state-of-the-art performance. Our code and models are available at {\url{https://github.com/HCPLab-SYSU/SKT}}.
• Abstract（参考訳）: クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 しかしながら、以前のほとんどの作業はヘビーバックボーンネットワークに依存しており、実行時の消費を制限し、デプロイメントのスコープを厳しく制限し、スケーラビリティを損なうことになる。 そこで我々は,これらの群集カウントモデルを解放するために,教師ネットワークの構造的知識をフル活用して,軽量かつ高効率な学生ネットワークを生成する,構造化知識伝達(Structured Knowledge Transfer, SKT)フレームワークを提案する。 Specifically, it is integrated with two complementary transfer modules, including an Intra-Layer Pattern Transfer which sequentially distills the knowledge embedded in layer-wise features of the teacher network to guide feature learning of the student network and an Inter-Layer Relation Transfer which densely distills the cross-layer correlation knowledge of the teacher to regularize the student's feature evolutio Consequently, our student network can derive the layer-wise and cross-layer knowledge from the teacher network to learn compact yet effective features. 3つのベンチマークの大規模な評価は、広範囲な群集カウントモデルに対するSKTの有効性をよく示している。 特に、オリジナルのモデルのパラメータと計算コストの約6\%$のみを使用して、蒸留vggベースのモデルは、nvidia 1080 gpu上で少なくとも6.5$\times$のスピードアップを得て、最先端のパフォーマンスを実現しています。 私たちのコードとモデルは {\url{https://github.com/HCPLab-SYSU/SKT}}で利用可能です。

関連論文リスト

• Adaptive Teaching with Shared Classifier for Knowledge Distillation [6.03477652126575]
  知識蒸留(KD)は、教師ネットワークから学生ネットワークへ知識を伝達する技術である。 共有分類器(ATSC)を用いた適応型授業を提案する。 提案手法は,CIFAR-100とImageNetのデータセットに対して,単教師と多教師の両方のシナリオで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-06-12T08:51:08Z)
• Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
  タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
  論文  参考訳（メタデータ） (2023-12-19T09:11:49Z)
• Crowd Counting with Online Knowledge Learning [23.602652841154164]
  本稿では,クラウドカウントのためのオンライン知識学習手法を提案する。 本手法は,2つの独立したネットワークを1つのアーキテクチャに統合するエンドツーエンドのトレーニングフレームワークを構築する。 本手法は,パラメータがはるかに少ないにもかかわらず,最先端手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-03-18T03:27:57Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks [6.8080936803807734]
  グラフニューラルネットワーク(GNN)上の既存の知識蒸留手法はほとんどオフラインである。 本稿では,この問題を解決するための新しいオンライン知識蒸留フレームワークを提案する。 一方の学生層を別の学生モデルの異なる深さの層に整列させることにより, クロス層蒸留戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-05T06:48:13Z)
• Distilling EEG Representations via Capsules for Affective Computing [14.67085109524245]
  カプセル型アーキテクチャを用いて脳波表現を蒸留する新しい知識蒸留パイプラインを提案する。 本フレームワークは,教師から効果的に学習できる圧縮率の異なる学生ネットワークを実現する。 この手法は2つのデータセットのうちの1つで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-04-30T22:04:35Z)
• Distilling Knowledge via Knowledge Review [69.15050871776552]
  教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。 知識蒸留において初めて, クロスステージ接続経路が提案されている。 最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-04-19T04:36:24Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Network-Agnostic Knowledge Transfer for Medical Image Segmentation [2.25146058725705]
  教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。 一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。 提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
  論文  参考訳（メタデータ） (2021-01-23T19:06:14Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。