論文の概要: Remote Sensing Object Counting with Online Knowledge Learning

• arxiv url: http://arxiv.org/abs/2303.10318v2
• Date: Sun, 09 Mar 2025 01:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.523782
• Title: Remote Sensing Object Counting with Online Knowledge Learning
• Title（参考訳）: オンライン知識学習を用いたリモートセンシングオブジェクトカウント
• Authors: Shengqin Jiang, Yuan Gao, Bowen Li, Fengna Cheng, Renlong Hang, Qingshan Liu,
• Abstract要約: 本稿では,リモートセンシングオブジェクトカウントのためのオンライン蒸留学習手法を提案する。 2つの異なるネットワークをシームレスに統合するエンドツーエンドのトレーニングフレームワークを構築している。 この設計は、教師ブランチから特権的な洞察を受けるだけでなく、学習プロセス中に教師ブランチが保持する知識の潜伏した貯水池を利用できるようにする。
• 参考スコア（独自算出の注目度）: 25.328206561308125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient models for remote sensing object counting are urgently required for applications in scenarios with limited computing resources, such as drones or embedded systems. A straightforward yet powerful technique to achieve this is knowledge distillation, which steers the learning of student networks by leveraging the experience of already-trained teacher networks. However, it faces a pair of challenges: Firstly, due to its two-stage training nature, a longer training period is essential, especially as the training samples increase. Secondly, despite the proficiency of teacher networks in transmitting assimilated knowledge, they tend to overlook the latent insights gained during their learning process. To address these challenges, we introduce an online distillation learning method for remote sensing object counting. It builds an end-to-end training framework that seamlessly integrates two distinct networks into a unified one. It comprises a shared shallow module, a teacher branch, and a student branch. The shared module serving as the foundation for both branches is dedicated to learning some primitive information. The teacher branch utilizes prior knowledge to reduce the difficulty of learning and guides the student branch in online learning. In parallel, the student branch achieves parameter reduction and rapid inference capabilities by means of channel reduction. This design empowers the student branch not only to receive privileged insights from the teacher branch but also to tap into the latent reservoir of knowledge held by the teacher branch during the learning process. Moreover, we propose a relation-in-relation distillation method that allows the student branch to effectively comprehend the evolution of the relationship of intra-layer teacher features among different inter-layer features. Extensive experiments demonstrate the effectiveness of our method.
• Abstract（参考訳）: リモートセンシングオブジェクトカウントのための効率的なモデルは、ドローンや組み込みシステムのような限られたコンピューティングリソースを持つシナリオにおけるアプリケーションに緊急に必要である。 これを実現するための単純かつ強力な手法は知識蒸留であり、既に訓練された教師ネットワークの経験を活用して、学生ネットワークの学習を促進する。 第一に、2段階のトレーニングの性質のため、特にトレーニングサンプルの増加に伴って、より長いトレーニング期間が不可欠である。 第二に、教師ネットワークが同化知識を伝達する能力があるにもかかわらず、彼らは学習過程で得られた潜伏した洞察を見逃す傾向にある。 これらの課題に対処するために,リモートセンシングオブジェクトカウントのためのオンライン蒸留学習手法を提案する。 2つの異なるネットワークをシームレスに統合するエンドツーエンドのトレーニングフレームワークを構築している。 共有浅いモジュール、教師ブランチ、学生ブランチから構成される。 両方のブランチの基盤として機能する共有モジュールは、プリミティブな情報を学ぶためのものだ。 教員部は、事前知識を利用して、学習の難しさを減らし、オンライン学習における学生部を指導する。 並行して、学生分岐は、チャネル還元によるパラメータ還元と高速推論機能を達成する。 この設計により、教師ブランチから特権的な洞察を受けるだけでなく、学習プロセス中に教師ブランチが保持する知識の潜伏した貯水池を利用できるようになる。 また,異なる層間特徴間の関係を効果的に理解できる関係式蒸留法を提案する。 大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
  本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。 我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。 実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
  論文  参考訳（メタデータ） (2024-11-25T06:14:20Z)
• Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation [11.754014876977422]
  本報告では,学生のニーズに合うように教師の知識を改良し,学生を意識した視点を新たに導入する。 本稿では,訓練中に学習可能な機能拡張戦略を取り入れた学生指向知識蒸留(SoKD)について紹介する。 また,教師と学生の相互関心領域を特定するために,DAM(Distinctive Area Detection Module)をデプロイした。
  論文  参考訳（メタデータ） (2024-09-27T14:34:08Z)
• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Review helps learn better: Temporal Supervised Knowledge Distillation [9.220654594406508]
  ネットワークトレーニング中、特徴写像の進化は時間的シーケンス特性に従うことが判明した。 この観察にインスパイアされた我々は、時間的監視された知識蒸留(TSKD)を提案する。
  論文  参考訳（メタデータ） (2023-07-03T07:51:08Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Improving Ensemble Distillation With Weight Averaging and Diversifying Perturbation [22.87106703794863]
  アンサンブル教師からの知識の蒸留を、より小さな学生ネットワークに動機付ける。 本研究では,複数作業を行う学生を対象に,アンサンブル教師の機能的多様性を吸収するウェイト平均化手法を提案する。 また,教師の多様性をよりよく生徒に伝達できるインプットを求める摂動戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-30T06:23:03Z)
• Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression [2.538209532048867]
  相互学習(ML)は、複数の単純な学生ネットワークが知識を共有することで恩恵を受ける、代替戦略を提供する。 そこで本研究では,KDとMLを併用して,より優れたパフォーマンスを実現する,単教師多学生フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T09:59:31Z)
• Distilling Knowledge via Knowledge Review [69.15050871776552]
  教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。 知識蒸留において初めて, クロスステージ接続経路が提案されている。 最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-04-19T04:36:24Z)
• Student Network Learning via Evolutionary Knowledge Distillation [22.030934154498205]
  教師知識の伝達効率を改善するための進化的知識蒸留手法を提案する。 進化的教師は、固定された予習教師の代わりにオンラインで学習され、学生ネットワーク学習を監督するために、中間的知識を継続的に伝達する。 このようにして、学生は豊富な内部知識を同時に獲得し、その成長過程を捉え、効果的なネットワーク学習につながる。
  論文  参考訳（メタデータ） (2021-03-23T02:07:15Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• A Combinatorial Perspective on Transfer Learning [27.7848044115664]
  モジュラーソリューションの学習によって、目に見えない分散データと潜在的に異なる分散データの両方を効果的に一般化することができるかを検討する。 タスクセグメンテーション,モジュール型学習,メモリベースアンサンブルの組み合わせによって,指数関数的に増加する多くの未確認タスクの一般化がもたらされる。
  論文  参考訳（メタデータ） (2020-10-23T09:53:31Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Interactive Knowledge Distillation [79.12866404907506]
  本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。 蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。 教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-03T03:22:04Z)
• Peer Collaborative Learning for Online Knowledge Distillation [69.29602103582782]
  Peer Collaborative Learningメソッドは、オンラインアンサンブルとネットワークコラボレーションを統合フレームワークに統合する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, 提案手法は種々のバックボーンネットワークの一般化を著しく改善することを示した。
  論文  参考訳（メタデータ） (2020-06-07T13:21:52Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。