論文の概要: Remote Sensing Object Counting with Online Knowledge Learning
- arxiv url: http://arxiv.org/abs/2303.10318v2
- Date: Sun, 09 Mar 2025 01:17:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:42:08.171641
- Title: Remote Sensing Object Counting with Online Knowledge Learning
- Title（参考訳）: オンライン知識学習を用いたリモートセンシングオブジェクトカウント
- Authors: Shengqin Jiang, Yuan Gao, Bowen Li, Fengna Cheng, Renlong Hang, Qingshan Liu,
- Abstract要約: 本稿では,リモートセンシングオブジェクトカウントのためのオンライン蒸留学習手法を提案する。
2つの異なるネットワークをシームレスに統合するエンドツーエンドのトレーニングフレームワークを構築している。
この設計は、教師ブランチから特権的な洞察を受けるだけでなく、学習プロセス中に教師ブランチが保持する知識の潜伏した貯水池を利用できるようにする。
- 参考スコア（独自算出の注目度）: 25.328206561308125
- License:
- Abstract: Efficient models for remote sensing object counting are urgently required for applications in scenarios with limited computing resources, such as drones or embedded systems. A straightforward yet powerful technique to achieve this is knowledge distillation, which steers the learning of student networks by leveraging the experience of already-trained teacher networks. However, it faces a pair of challenges: Firstly, due to its two-stage training nature, a longer training period is essential, especially as the training samples increase. Secondly, despite the proficiency of teacher networks in transmitting assimilated knowledge, they tend to overlook the latent insights gained during their learning process. To address these challenges, we introduce an online distillation learning method for remote sensing object counting. It builds an end-to-end training framework that seamlessly integrates two distinct networks into a unified one. It comprises a shared shallow module, a teacher branch, and a student branch. The shared module serving as the foundation for both branches is dedicated to learning some primitive information. The teacher branch utilizes prior knowledge to reduce the difficulty of learning and guides the student branch in online learning. In parallel, the student branch achieves parameter reduction and rapid inference capabilities by means of channel reduction. This design empowers the student branch not only to receive privileged insights from the teacher branch but also to tap into the latent reservoir of knowledge held by the teacher branch during the learning process. Moreover, we propose a relation-in-relation distillation method that allows the student branch to effectively comprehend the evolution of the relationship of intra-layer teacher features among different inter-layer features. Extensive experiments demonstrate the effectiveness of our method.
- Abstract（参考訳）: リモートセンシングオブジェクトカウントのための効率的なモデルは、ドローンや組み込みシステムのような限られたコンピューティングリソースを持つシナリオにおけるアプリケーションに緊急に必要である。
これを実現するための単純かつ強力な手法は知識蒸留であり、既に訓練された教師ネットワークの経験を活用して、学生ネットワークの学習を促進する。
第一に、2段階のトレーニングの性質のため、特にトレーニングサンプルの増加に伴って、より長いトレーニング期間が不可欠である。
第二に、教師ネットワークが同化知識を伝達する能力があるにもかかわらず、彼らは学習過程で得られた潜伏した洞察を見逃す傾向にある。
これらの課題に対処するために,リモートセンシングオブジェクトカウントのためのオンライン蒸留学習手法を提案する。
2つの異なるネットワークをシームレスに統合するエンドツーエンドのトレーニングフレームワークを構築している。
共有浅いモジュール、教師ブランチ、学生ブランチから構成される。
両方のブランチの基盤として機能する共有モジュールは、プリミティブな情報を学ぶためのものだ。
教員部は、事前知識を利用して、学習の難しさを減らし、オンライン学習における学生部を指導する。
並行して、学生分岐は、チャネル還元によるパラメータ還元と高速推論機能を達成する。
この設計により、教師ブランチから特権的な洞察を受けるだけでなく、学習プロセス中に教師ブランチが保持する知識の潜伏した貯水池を利用できるようになる。
また,異なる層間特徴間の関係を効果的に理解できる関係式蒸留法を提案する。
大規模な実験により,本手法の有効性が示された。
関連論文リスト
- Contrastive Representation Distillation via Multi-Scale Feature Decoupling [0.49157446832511503]
知識蒸留は, パラメータサイズを増大させることなく, より小さな学生ネットワークの性能を向上させる技術である。
特徴伝達プロセスにおいて,局所的な特徴を個別に処理し,コントラスト学習と統合するマルチスケールデカップリングを初めて導入する。
提案手法は,計算コストを削減するだけでなく,効率も向上し,シングルバッチサンプルのみを用いた学生ネットワークの性能向上を実現している。
論文 参考訳（メタデータ） (2025-02-09T10:03:18Z) - Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。
我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。
実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
論文 参考訳（メタデータ） (2024-11-25T06:14:20Z) - Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。
まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。
次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文 参考訳（メタデータ） (2024-01-12T02:48:51Z) - Improving Ensemble Distillation With Weight Averaging and Diversifying
Perturbation [22.87106703794863]
アンサンブル教師からの知識の蒸留を、より小さな学生ネットワークに動機付ける。
本研究では,複数作業を行う学生を対象に,アンサンブル教師の機能的多様性を吸収するウェイト平均化手法を提案する。
また,教師の多様性をよりよく生徒に伝達できるインプットを求める摂動戦略を提案する。
論文 参考訳（メタデータ） (2022-06-30T06:23:03Z) - Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For
Model Compression [2.538209532048867]
相互学習(ML)は、複数の単純な学生ネットワークが知識を共有することで恩恵を受ける、代替戦略を提供する。
そこで本研究では,KDとMLを併用して,より優れたパフォーマンスを実現する,単教師多学生フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-21T09:59:31Z) - Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
複数知識伝達(CTSL-MKT)による協調学習を提案する。
複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。
4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2021-01-21T07:17:04Z) - Interactive Knowledge Distillation [79.12866404907506]
本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。
蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。
教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-07-03T03:22:04Z) - Peer Collaborative Learning for Online Knowledge Distillation [69.29602103582782]
Peer Collaborative Learningメソッドは、オンラインアンサンブルとネットワークコラボレーションを統合フレームワークに統合する。
CIFAR-10, CIFAR-100, ImageNetによる実験により, 提案手法は種々のバックボーンネットワークの一般化を著しく改善することを示した。
論文 参考訳（メタデータ） (2020-06-07T13:21:52Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳（メタデータ） (2020-05-02T06:56:56Z) - Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。
本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。
我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文 参考訳（メタデータ） (2020-03-23T08:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。