論文の概要: Crowd Counting with Online Knowledge Learning
- arxiv url: http://arxiv.org/abs/2303.10318v1
- Date: Sat, 18 Mar 2023 03:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 20:14:31.034045
- Title: Crowd Counting with Online Knowledge Learning
- Title（参考訳）: オンライン知識学習による群衆カウント
- Authors: Shengqin Jiang, Bowen Li, Fengna Cheng, Qingshan Liu
- Abstract要約: 本稿では,クラウドカウントのためのオンライン知識学習手法を提案する。
本手法は,2つの独立したネットワークを1つのアーキテクチャに統合するエンドツーエンドのトレーニングフレームワークを構築する。
本手法は,パラメータがはるかに少ないにもかかわらず,最先端手法に匹敵する性能を実現する。
- 参考スコア（独自算出の注目度）: 23.602652841154164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient crowd counting models are urgently required for the applications in
scenarios with limited computing resources, such as edge computing and mobile
devices. A straightforward method to achieve this is knowledge distillation
(KD), which involves using a trained teacher network to guide the training of a
student network. However, this traditional two-phase training method can be
time-consuming, particularly for large datasets, and it is also challenging for
the student network to mimic the learning process of the teacher network. To
overcome these challenges, we propose an online knowledge learning method for
crowd counting. Our method builds an end-to-end training framework that
integrates two independent networks into a single architecture, which consists
of a shared shallow module, a teacher branch, and a student branch. This
approach is more efficient than the two-stage training technique of traditional
KD. Moreover, we propose a feature relation distillation method which allows
the student branch to more effectively comprehend the evolution of inter-layer
features by constructing a new inter-layer relationship matrix. It is combined
with response distillation and feature internal distillation to enhance the
transfer of mutually complementary information from the teacher branch to the
student branch. Extensive experiments on four challenging crowd counting
datasets demonstrate the effectiveness of our method which achieves comparable
performance to state-of-the-art methods despite using far fewer parameters.
- Abstract（参考訳）: エッジコンピューティングやモバイルデバイスのような限られたコンピューティングリソースのシナリオでは、効率的なクラウドカウントモデルが緊急に必要となる。
これを実現するための簡単な方法は知識蒸留(KD)であり、学生ネットワークのトレーニングを指導するために訓練された教師ネットワークを使用する。
しかし,従来の2段階学習法は,特に大規模データセットでは時間を要するため,教師ネットワークの学習過程を模倣することが課題となっている。
これらの課題を克服するために,クラウドカウントのためのオンライン知識学習手法を提案する。
提案手法は,2つの独立したネットワークを単一のアーキテクチャに統合するエンドツーエンドのトレーニングフレームワークを構築し,共有浅層モジュール,教師ブランチ,学生ブランチからなる。
このアプローチは従来のKDの2段階トレーニング手法よりも効率的である。
さらに,新しい層間関係行列を構築し,学生の分枝が層間特徴の進化をより効果的に理解できるようにする特徴関係蒸留法を提案する。
反応蒸留と内部蒸留とを組み合わせることで、教師部から学生部への相互補完的情報の転送を促進する。
4つの挑戦的な集団計数データセットに関する広範囲な実験は、パラメータがはるかに少ないにもかかわらず、最先端の手法に匹敵する性能を実現する手法の有効性を実証する。
関連論文リスト
- Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。
我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。
実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
論文 参考訳（メタデータ） (2024-11-25T06:14:20Z) - A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。
制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。
我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
論文 参考訳（メタデータ） (2024-08-21T06:49:59Z) - Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。
まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。
次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文 参考訳（メタデータ） (2024-01-12T02:48:51Z) - Improving Ensemble Distillation With Weight Averaging and Diversifying
Perturbation [22.87106703794863]
アンサンブル教師からの知識の蒸留を、より小さな学生ネットワークに動機付ける。
本研究では,複数作業を行う学生を対象に,アンサンブル教師の機能的多様性を吸収するウェイト平均化手法を提案する。
また,教師の多様性をよりよく生徒に伝達できるインプットを求める摂動戦略を提案する。
論文 参考訳（メタデータ） (2022-06-30T06:23:03Z) - Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For
Model Compression [2.538209532048867]
相互学習(ML)は、複数の単純な学生ネットワークが知識を共有することで恩恵を受ける、代替戦略を提供する。
そこで本研究では,KDとMLを併用して,より優れたパフォーマンスを実現する,単教師多学生フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-21T09:59:31Z) - Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。
複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。
4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2021-01-21T07:17:04Z) - Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。
蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。
教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-07-03T03:22:04Z) - Peer Collaborative Learning for Online Knowledge Distillation [69.29602103582782]
Peer Collaborative Learningメソッドは、オンラインアンサンブルとネットワークコラボレーションを統合フレームワークに統合する。
CIFAR-10, CIFAR-100, ImageNetによる実験により, 提案手法は種々のバックボーンネットワークの一般化を著しく改善することを示した。
論文 参考訳（メタデータ） (2020-06-07T13:21:52Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳（メタデータ） (2020-05-02T06:56:56Z) - Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。
本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。
我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文 参考訳（メタデータ） (2020-03-23T08:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。