論文の概要: Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for
Remote Sensing Scene Classification
- arxiv url: http://arxiv.org/abs/2104.00222v1
- Date: Thu, 1 Apr 2021 03:08:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:51:51.142917
- Title: Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for
Remote Sensing Scene Classification
- Title（参考訳）: リモートセンシングシーン分類のための小型マルチブランチアンサンブルネットワークにおける組込み自己蒸留
- Authors: Qi Zhao, Yujing Ma, Shuchang Lyu, Lijiang Chen
- Abstract要約: 本稿では,特徴表現能力を向上させるマルチブランチアンサンブルネットワークを提案する。
自己蒸留法(SD)を組み込んで,アンサンブルネットワークからメインブランチへ知識を伝達する。
その結果,提案するESD-MBENetは,従来のSOTA(State-of-the-art)モデルよりも精度が高いことがわかった。
- 参考スコア（独自算出の注目度）: 17.321718779142817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing (RS) image scene classification task faces many challenges due
to the interference from different characteristics of different geographical
elements. To solve this problem, we propose a multi-branch ensemble network to
enhance the feature representation ability by fusing features in final output
logits and intermediate feature maps. However, simply adding branches will
increase the complexity of models and decline the inference efficiency. On this
issue, we embed self-distillation (SD) method to transfer knowledge from
ensemble network to main-branch in it. Through optimizing with SD, main-branch
will have close performance as ensemble network. During inference, we can cut
other branches to simplify the whole model. In this paper, we first design
compact multi-branch ensemble network, which can be trained in an end-to-end
manner. Then, we insert SD method on output logits and feature maps. Compared
to previous methods, our proposed architecture (ESD-MBENet) performs strongly
on classification accuracy with compact design. Extensive experiments are
applied on three benchmark RS datasets AID, NWPU-RESISC45 and UC-Merced with
three classic baseline models, VGG16, ResNet50 and DenseNet121. Results prove
that our proposed ESD-MBENet can achieve better accuracy than previous
state-of-the-art (SOTA) complex models. Moreover, abundant visualization
analysis make our method more convincing and interpretable.
- Abstract（参考訳）: リモートセンシング(RS)画像シーン分類タスクは、異なる地理的要素の異なる特徴から干渉されるため、多くの課題に直面している。
そこで本研究では,最終出力ロジットと中間特徴マップの特徴を融合することにより特徴表現能力を向上させるマルチブランチアンサンブルネットワークを提案する。
しかし、単に分岐を追加するだけでモデルの複雑さが増し、推論効率が低下する。
本稿では, 自己蒸留(sd)法を組み込んで, アンサンブルネットワークからメインブランチへ知識を伝達する。
SDを最適化することで、メインブランチはアンサンブルネットワークとしての性能が向上する。
推論の間、モデル全体を単純化するために他のブランチをカットできます。
本稿では,エンド・ツー・エンドで訓練可能なコンパクトなマルチブランチアンサンブルネットワークを最初に設計する。
次に,出力ロジットと特徴マップにSD法を挿入する。
従来の手法と比較して,提案するアーキテクチャ (ESD-MBENet) は,コンパクトな設計による分類精度に強く依存する。
3つのベンチマークrsデータセットであるnwpu-resisc45とuc-mercedに対して、vgg16、resnet50、drknet121という3つの古典的なベースラインモデルによる広範な実験が行われた。
その結果,提案するESD-MBENetは従来のSOTAモデルよりも精度が高いことがわかった。
さらに, 豊富な可視化分析により, より説得力と解釈性が向上した。
関連論文リスト
- DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。
弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。
我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文 参考訳（メタデータ） (2024-03-14T02:11:38Z) - SODAWideNet -- Salient Object Detection with an Attention augmented Wide
Encoder Decoder network without ImageNet pre-training [3.66237529322911]
我々は、ImageNet事前トレーニングなしで、Salient Object Detectionを直接訓練したスクラッチからニューラルネットワークを開発することを検討する。
本稿では,Salient Object Detection のためのエンコーダデコーダ型ネットワーク SODAWideNet を提案する。
SODAWideNet-S (3.03M) と SODAWideNet (9.03M) の2つの変種は、5つのデータセット上の最先端モデルと競合する性能を達成する。
論文 参考訳（メタデータ） (2023-11-08T16:53:44Z) - HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel
Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。
我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。
6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文 参考訳（メタデータ） (2023-04-23T17:27:40Z) - Self-distilled Feature Aggregation for Self-supervised Monocular Depth
Estimation [11.929584800629673]
本稿では,低スケールと高スケールの2つの特徴を同時に集約する自己拡張型特徴集合(SDFA)モジュールを提案する。
自己教師付き単眼深度推定のためのSDFAに基づくネットワークを提案し,提案したネットワークをトレーニングするための自己蒸留トレーニング戦略を設計する。
KITTIデータセットにおける実験結果から,提案手法は,ほとんどの場合において,比較最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-09-15T07:00:52Z) - Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。
我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。
提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文 参考訳（メタデータ） (2022-03-15T06:52:25Z) - Local Similarity Pattern and Cost Self-Reassembling for Deep Stereo
Matching Networks [3.7384509727711923]
LSP(Local similarity Pattern)という,深層ステレオマッチングネットワークのためのペア機能を導入する。
隣接する関係を明確に明らかにすることで、LSPはより識別的な特徴記述を支援するために活用できる豊富な構造情報を含んでいる。
第2に,動的自己組み換え改良戦略を設計し,コスト分布と分散マップにそれぞれ適用する。
論文 参考訳（メタデータ） (2021-12-02T06:52:54Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Learning Deep Interleaved Networks with Asymmetric Co-Attention for
Image Restoration [65.11022516031463]
本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。
本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。
提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
論文 参考訳（メタデータ） (2020-10-29T15:32:00Z) - ResNeSt: Split-Attention Networks [86.25490825631763]
このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。
我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
論文 参考訳（メタデータ） (2020-04-19T20:40:31Z) - Searching Central Difference Convolutional Networks for Face
Anti-Spoofing [68.77468465774267]
顔認識システムにおいて、顔の反偽造(FAS)が重要な役割を担っている。
最先端のFASメソッドの多くは、スタック化された畳み込みと専門家が設計したネットワークに依存している。
ここでは、中央差分畳み込み(CDC)に基づくフレームレベルの新しいFAS手法を提案する。
論文 参考訳（メタデータ） (2020-03-09T12:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。