論文の概要: Double Reverse Regularization Network Based on Self-Knowledge Distillation for SAR Object Classification

• arxiv url: http://arxiv.org/abs/2311.15231v1
• Date: Sun, 26 Nov 2023 08:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:48:57.785696
• Title: Double Reverse Regularization Network Based on Self-Knowledge Distillation for SAR Object Classification
• Title（参考訳）: SARオブジェクト分類のための自己知識蒸留に基づく二重逆正規化ネットワーク
• Authors: Bo Xu, Hao Zheng, Zhigang Hu, Liu Yang, Meiguang Zheng
• Abstract要約: 本稿では,自己知識蒸留(DRRNet-SKD)に基づく新しい二重逆正規化ネットワークを提案する。 DRRNet-SKDは従来のCNNに顕著な性能向上を示し、最先端の自己知識蒸留法より優れている。
• 参考スコア（独自算出の注目度）: 12.976481910364665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In current synthetic aperture radar (SAR) object classification, one of the major challenges is the severe overfitting issue due to the limited dataset (few-shot) and noisy data. Considering the advantages of knowledge distillation as a learned label smoothing regularization, this paper proposes a novel Double Reverse Regularization Network based on Self-Knowledge Distillation (DRRNet-SKD). Specifically, through exploring the effect of distillation weight on the process of distillation, we are inspired to adopt the double reverse thought to implement an effective regularization network by combining offline and online distillation in a complementary way. Then, the Adaptive Weight Assignment (AWA) module is designed to adaptively assign two reverse-changing weights based on the network performance, allowing the student network to better benefit from both teachers. The experimental results on OpenSARShip and FUSAR-Ship demonstrate that DRRNet-SKD exhibits remarkable performance improvement on classical CNNs, outperforming state-of-the-art self-knowledge distillation methods.
• Abstract（参考訳）: 現在の合成開口レーダ(sar)オブジェクト分類では、制限データセット(few-shot)とノイズデータによる深刻な過剰フィッティングの問題が大きな課題の1つとなっている。 本稿では,知識蒸留の利点を学習ラベル平滑化正規化として考慮し,自己知識蒸留(drrnet-skd)に基づく新しい二重反転正規化ネットワークを提案する。 具体的には, 蒸留重量が蒸留プロセスに与える影響を探索することで, オフラインとオンラインの蒸留を相補的に組み合わせることで, 効果的な正則化ネットワークを実現するために, 二重逆思考を採用することに着想を得た。 次に、適応重み付け(AWA)モジュールは、ネットワーク性能に基づいて2つの逆転重みを適応的に割り当てるように設計され、学生ネットワークが両方の教師の恩恵を受けることができる。 The experimental results on OpenSARShip and FUSAR-Ship showed that DRRNet-SKD exhibits excellent performance on classical CNNs, out-of-the-the-the-art-knowledge distillation method。

関連論文リスト

• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• Dual-stream contrastive predictive network with joint handcrafted feature view for SAR ship classification [9.251342335645765]
  本稿では,新しいデュアルストリームコントラスト予測ネットワーク(DCPNet)を提案する。 最初のタスクは正のサンプルペアを構築し、コアエンコーダにより一般的な表現を学習させることである。 第2の課題は, 深部特徴と手話特徴との対応を適応的に把握し, モデル内での知識伝達を実現し, 特徴融合による冗長性を効果的に改善することである。
  論文  参考訳（メタデータ） (2023-11-26T05:47:01Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• Feature-domain Adaptive Contrastive Distillation for Efficient Single Image Super-Resolution [3.2453621806729234]
  CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。 知識蒸留(KD)は教師の有用な知識を学生に伝達する。 本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:24:14Z)
• ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly Detection [75.68023968735523]
  知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。 非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。 我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。 ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-19T12:04:47Z)
• A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition [6.554259611868312]
  自己知識蒸留は、学生のパフォーマンスを高めるために、重いネットワーク(教師)から小さなネットワーク(学生)への知識の効果的な伝達である。 本稿では,シームズ表現学習による新しい自己知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-09-03T01:56:58Z)
• ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval [54.54667085792404]
  両エンコーダのクロスアーキテクチャ蒸留を著しく向上させる新しい蒸留法を提案する。 本手法は,バニラ二重エンコーダへの遅延相互作用(ColBERT)を効果的に蒸留できる自己オンザフライ蒸留法を導入し,また,クロスエンコーダの教師による性能向上のためにカスケード蒸留プロセスを導入している。
  論文  参考訳（メタデータ） (2022-05-18T18:05:13Z)
• Even your Teacher Needs Guidance: Ground-Truth Targets Dampen Regularization Imposed by Self-Distillation [0.0]
  ネットワークアーキテクチャが同一である自己蒸留は、一般化精度を向上させるために観測されている。 我々は, 逐次ステップがモデル出力と接地目標の両方を組み込む, カーネル回帰設定における自己蒸留の反復的変種を考える。 自己蒸留により得られるそのような関数は、初期フィットの関数として直接計算でき、無限蒸留ステップは増幅正規化により元のものと同じ最適化問題をもたらす。
  論文  参考訳（メタデータ） (2021-02-25T18:56:09Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。