論文の概要: A Comparative Study of Knowledge Transfer Methods for Misaligned Urban Building Labels

• arxiv url: http://arxiv.org/abs/2311.03867v1
• Date: Tue, 7 Nov 2023 10:31:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:00:52.124497
• Title: A Comparative Study of Knowledge Transfer Methods for Misaligned Urban Building Labels
• Title（参考訳）: まちづくりラベルの不整合に対する知識伝達手法の比較検討
• Authors: Bipul Neupane, Jagannath Aryal, Abbas Rajabifard
• Abstract要約: 地球観測におけるミスアライメント(EO)画像とビルディングラベルは、ビルディングフットプリントのセマンティックセグメンテーションのための正確な畳み込みニューラルネットワーク(CNN)のトレーニングに影響を与える。 近年,この問題に対処するために,教師・学生の知識伝達手法が3つ導入されている。 本稿では,3つの手法の体系的比較研究のワークフローについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Misalignment in Earth observation (EO) images and building labels impact the training of accurate convolutional neural networks (CNNs) for semantic segmentation of building footprints. Recently, three Teacher-Student knowledge transfer methods have been introduced to address this issue: supervised domain adaptation (SDA), knowledge distillation (KD), and deep mutual learning (DML). However, these methods are merely studied for different urban buildings (low-rise, mid-rise, high-rise, and skyscrapers), where misalignment increases with building height and spatial resolution. In this study, we present a workflow for the systematic comparative study of the three methods. The workflow first identifies the best (with the highest evaluation scores) hyperparameters, lightweight CNNs for the Student (among 43 CNNs from Computer Vision), and encoder-decoder networks (EDNs) for both Teachers and Students. Secondly, three building footprint datasets are developed to train and evaluate the identified Teachers and Students in the three transfer methods. The results show that U-Net with VGG19 (U-VGG19) is the best Teacher, and U-EfficientNetv2B3 and U-EfficientNet-lite0 are among the best Students. With these Teacher-Student pairs, SDA could yield upto 0.943, 0.868, 0.912, and 0.697 F1 scores in the low-rise, mid-rise, high-rise, and skyscrapers respectively. KD and DML provide model compression of upto 82%, despite marginal loss in performance. This new comparison concludes that SDA is the most effective method to address the misalignment problem, while KD and DML can efficiently compress network size without significant loss in performance. The 158 experiments and datasets developed in this study will be valuable to minimise the misaligned labels.
• Abstract（参考訳）: 地球観測におけるミスアライメント(EO)画像とビルディングラベルは、ビルディングフットプリントのセマンティックセグメンテーションのための正確な畳み込みニューラルネットワーク(CNN)のトレーニングに影響を与える。 近年,教師-学生の知識伝達手法として,教師付きドメイン適応(SDA),知識蒸留(KD),深層相互学習(DML)の3つが紹介されている。 しかし、これらの手法は、建物の高さと空間分解能によって不整合が増加する都市建物(低層、中層、高層、高層ビル)に対してのみ研究されている。 本研究では,3つの手法の系統的比較研究のワークフローについて述べる。 このワークフローはまず、最も優れた(評価スコアの高い)ハイパーパラメータ、学生のための軽量CNN(コンピュータビジョンの43のCNN)、教師と学生の両方のためのエンコーダデコーダネットワーク(EDN)を識別する。 第2に, 3つの建物足跡データセットを開発し, 3つの転校方法において, 特定した教師と学生を訓練し, 評価する。 その結果,vgg19 (u-vgg19) のu-netが最良の教師であり,u- efficiencynetv2b3 と u- efficientnet-lite0 が優れた学生であることがわかった。 これらの教師と学生のペアで、SDAは、それぞれ低層、中層、高層、高層ビルで0.943、0.868、0.912、0.697F1のスコアを得ることができた。 KDとDMLは、性能の限界損失にもかかわらず、最大82%のモデル圧縮を提供する。 この新たな比較結果から,SDAはミスアライメント問題に対処する最も効果的な手法であり,KDとDMLは性能を著しく損なうことなく効率よくネットワークサイズを圧縮できることがわかった。 この研究で開発された158の実験とデータセットは、誤ったラベルを最小化するために有用である。

関連論文リスト

• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation [16.957139277317005]
  Af-DCD(Augmentation-free Dense Contrastive Knowledge Distillation)は、新しいコントラスト蒸留学習パラダイムである。 Af-DCDはセマンティックセグメンテーションのためのコンパクトで正確なディープニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-12-07T09:37:28Z)
• Feature-domain Adaptive Contrastive Distillation for Efficient Single Image Super-Resolution [3.2453621806729234]
  CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。 知識蒸留(KD)は教師の有用な知識を学生に伝達する。 本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:24:14Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection [0.0]
  本稿では,CARE-GNNをResidual Layered CARE-GNN(RLC-GNN)と呼ばれるディープモデルに拡張する改良されたディープアーキテクチャを提案する。 RLC-GNNの3つの課題は、近隣情報の利用が制限に達すること、訓練の難しさ、およびノードの特徴や外部パターンに関する包括的な考慮の欠如である。 YelpとAmazonのデータセットで実験が行われる。
  論文  参考訳（メタデータ） (2022-02-14T09:51:35Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• A Unified Plug-and-Play Framework for Effective Data Denoising and Robust Abstention [4.200576272300216]
  基礎となるデータ密度を利用した統合フィルタリングフレームワークを提案する。 我々のフレームワークは、トレーニングデータを効果的にデノベートし、不確実なテストデータポイントの予測を避けることができる。
  論文  参考訳（メタデータ） (2020-09-25T04:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。