論文の概要: A Comparative Study of Knowledge Transfer Methods for Misaligned Urban
Building Labels
- arxiv url: http://arxiv.org/abs/2311.03867v1
- Date: Tue, 7 Nov 2023 10:31:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:00:52.124497
- Title: A Comparative Study of Knowledge Transfer Methods for Misaligned Urban
Building Labels
- Title(参考訳): まちづくりラベルの不整合に対する知識伝達手法の比較検討
- Authors: Bipul Neupane, Jagannath Aryal, Abbas Rajabifard
- Abstract要約: 地球観測におけるミスアライメント(EO)画像とビルディングラベルは、ビルディングフットプリントのセマンティックセグメンテーションのための正確な畳み込みニューラルネットワーク(CNN)のトレーニングに影響を与える。
近年,この問題に対処するために,教師・学生の知識伝達手法が3つ導入されている。
本稿では,3つの手法の体系的比較研究のワークフローについて述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Misalignment in Earth observation (EO) images and building labels impact the
training of accurate convolutional neural networks (CNNs) for semantic
segmentation of building footprints. Recently, three Teacher-Student knowledge
transfer methods have been introduced to address this issue: supervised domain
adaptation (SDA), knowledge distillation (KD), and deep mutual learning (DML).
However, these methods are merely studied for different urban buildings
(low-rise, mid-rise, high-rise, and skyscrapers), where misalignment increases
with building height and spatial resolution. In this study, we present a
workflow for the systematic comparative study of the three methods. The
workflow first identifies the best (with the highest evaluation scores)
hyperparameters, lightweight CNNs for the Student (among 43 CNNs from Computer
Vision), and encoder-decoder networks (EDNs) for both Teachers and Students.
Secondly, three building footprint datasets are developed to train and evaluate
the identified Teachers and Students in the three transfer methods. The results
show that U-Net with VGG19 (U-VGG19) is the best Teacher, and
U-EfficientNetv2B3 and U-EfficientNet-lite0 are among the best Students. With
these Teacher-Student pairs, SDA could yield upto 0.943, 0.868, 0.912, and
0.697 F1 scores in the low-rise, mid-rise, high-rise, and skyscrapers
respectively. KD and DML provide model compression of upto 82%, despite
marginal loss in performance. This new comparison concludes that SDA is the
most effective method to address the misalignment problem, while KD and DML can
efficiently compress network size without significant loss in performance. The
158 experiments and datasets developed in this study will be valuable to
minimise the misaligned labels.
- Abstract(参考訳): 地球観測におけるミスアライメント(EO)画像とビルディングラベルは、ビルディングフットプリントのセマンティックセグメンテーションのための正確な畳み込みニューラルネットワーク(CNN)のトレーニングに影響を与える。
近年,教師-学生の知識伝達手法として,教師付きドメイン適応(SDA),知識蒸留(KD),深層相互学習(DML)の3つが紹介されている。
しかし、これらの手法は、建物の高さと空間分解能によって不整合が増加する都市建物(低層、中層、高層、高層ビル)に対してのみ研究されている。
本研究では,3つの手法の系統的比較研究のワークフローについて述べる。
このワークフローはまず、最も優れた(評価スコアの高い)ハイパーパラメータ、学生のための軽量CNN(コンピュータビジョンの43のCNN)、教師と学生の両方のためのエンコーダデコーダネットワーク(EDN)を識別する。
第2に, 3つの建物足跡データセットを開発し, 3つの転校方法において, 特定した教師と学生を訓練し, 評価する。
その結果,vgg19 (u-vgg19) のu-netが最良の教師であり,u- efficiencynetv2b3 と u- efficientnet-lite0 が優れた学生であることがわかった。
これらの教師と学生のペアで、SDAは、それぞれ低層、中層、高層、高層ビルで0.943、0.868、0.912、0.697F1のスコアを得ることができた。
KDとDMLは、性能の限界損失にもかかわらず、最大82%のモデル圧縮を提供する。
この新たな比較結果から,SDAはミスアライメント問題に対処する最も効果的な手法であり,KDとDMLは性能を著しく損なうことなく効率よくネットワークサイズを圧縮できることがわかった。
この研究で開発された158の実験とデータセットは、誤ったラベルを最小化するために有用である。
関連論文リスト
- Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient
Semantic Segmentation [16.957139277317005]
Af-DCD(Augmentation-free Dense Contrastive Knowledge Distillation)は、新しいコントラスト蒸留学習パラダイムである。
Af-DCDはセマンティックセグメンテーションのためのコンパクトで正確なディープニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2023-12-07T09:37:28Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳(メタデータ) (2023-10-30T11:13:02Z) - Representation Disparity-aware Distillation for 3D Object Detection [44.17712259352281]
本稿では,表現格差問題に対処する新しい表現格差対応蒸留法を提案する。
RDD は CP-Voxel-S の mAP を nuScenes データセット上で57.1% に引き上げる。
論文 参考訳(メタデータ) (2023-08-20T16:06:42Z) - Improving Knowledge Distillation via Regularizing Feature Norm and
Direction [16.98806338782858]
知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。
教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。
教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
論文 参考訳(メタデータ) (2023-05-26T15:05:19Z) - Hierarchical Supervision and Shuffle Data Augmentation for 3D
Semi-Supervised Object Detection [90.32180043449263]
最先端の3Dオブジェクト検出器は通常、高品質な3Dアノテーションを備えた大規模データセットで訓練される。
自然な治療法は、限られた量のラベル付きサンプルと豊富なラベル付きサンプルを活用することで、半教師付き学習(SSL)を採用することである。
本稿では,HSSDA(Hierarchical Supervision and Shuffle Data Augmentation)の新たなアプローチを提案する。
論文 参考訳(メタデータ) (2023-04-04T02:09:32Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳(メタデータ) (2022-05-02T16:09:17Z) - What Stops Learning-based 3D Registration from Working in the Real
World? [53.68326201131434]
この研究は、3Dポイントのクラウド登録失敗の原因を特定し、その原因を分析し、解決策を提案する。
最終的に、これは最も実践的な3D登録ネットワーク(BPNet)に変換される。
我々のモデルは微調整をせずに実データに一般化し、商用センサで得られた見えない物体の点雲上で最大67%の精度に達する。
論文 参考訳(メタデータ) (2021-11-19T19:24:27Z) - Boosting Light-Weight Depth Estimation Via Knowledge Distillation [21.93879961636064]
本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。
モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。
本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
論文 参考訳(メタデータ) (2021-05-13T08:42:42Z) - Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
論文 参考訳(メタデータ) (2021-03-25T10:23:30Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳(メタデータ) (2020-10-19T09:23:39Z) - Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。
我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
論文 参考訳(メタデータ) (2020-04-11T04:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。