Fugu-MT 論文翻訳(概要): Squeezing nnU-Nets with Knowledge Distillation for On-Board Cloud Detection

論文の概要: Squeezing nnU-Nets with Knowledge Distillation for On-Board Cloud Detection

arxiv url: http://arxiv.org/abs/2306.09886v1
Date: Fri, 16 Jun 2023 14:53:36 GMT
ステータス: 処理完了
システム内更新日: 2023-06-19 13:19:45.786655
Title: Squeezing nnU-Nets with Knowledge Distillation for On-Board Cloud Detection
Title（参考訳）: クラウド検出のための知識蒸留によるnnu-netのスクイーシング
Authors: Bartosz Grabowski, Maciej Ziaja, Michal Kawulok, Piotr Bosowski, Nicolas Long\'ep\'e, Bertrand Le Saux, Jakub Nalepa
Abstract要約: nnU-Netsは、さまざまなデータセット上でセグメンテーションネットワークのメタラーニングを実行することができる、自己再構成可能なフレームワークである。我々は知識蒸留でnnU-Netをより小さくコンパクトなU-Netに圧縮する。当社のアプローチは、On Cloud N: Cloud Cover Detection Challengeで、上位7%のソリューション(847チーム中)にランクインしました。
参考スコア（独自算出の注目度）: 29.014110832117993
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cloud detection is a pivotal satellite image pre-processing step that can be performed both on the ground and on board a satellite to tag useful images. In the latter case, it can reduce the amount of data to downlink by pruning the cloudy areas, or to make a satellite more autonomous through data-driven acquisition re-scheduling. We approach this task with nnU-Nets, a self-reconfigurable framework able to perform meta-learning of a segmentation network over various datasets. Unfortunately, such models are commonly memory-inefficient due to their (very) large architectures. To benefit from them in on-board processing, we compress nnU-Nets with knowledge distillation into much smaller and compact U-Nets. Our experiments, performed over Sentinel-2 and Landsat-8 images revealed that nnU-Nets deliver state-of-the-art performance without any manual design. Our approach was ranked within the top 7% best solutions (across 847 teams) in the On Cloud N: Cloud Cover Detection Challenge, where we reached the Jaccard index of 0.882 over more than 10k unseen Sentinel-2 images (the winners obtained 0.897, the baseline U-Net with the ResNet-34 backbone: 0.817, and the classic Sentinel-2 image thresholding: 0.652). Finally, we showed that knowledge distillation enables to elaborate dramatically smaller (almost 280x) U-Nets when compared to nnU-Nets while still maintaining their segmentation capabilities.
Abstract（参考訳）: クラウド検出は、地上でも衛星上でも有用な画像にタグを付けることができる、重要な衛星画像前処理ステップである。後者の場合、クラウドエリアを刈り取ることでダウンリンクへのデータ転送量を削減したり、あるいはデータ駆動の買収再スケジュールを通じて衛星をより自律的にすることができる。 nnu-netsは、様々なデータセット上でセグメンテーションネットワークのメタラーニングを実行できる自己再構成可能なフレームワークです。残念ながら、そのようなモデルは(非常に)大規模なアーキテクチャのため、一般的にメモリ非効率である。オンボード処理の利点を享受するため、知識蒸留でnnu-netをより小さくコンパクトなu-netに圧縮する。 Sentinel-2 と Landsat-8 で行った実験の結果,nnU-Nets が手動設計なしで最先端の性能を実現することがわかった。私たちのアプローチは、on cloud n: cloud cover detection challengeで上位7%のベストソリューション(across 847チーム)にランクインしました。ここでは、10k以上のsentinel-2イメージ(受賞者は0.897、resnet-34バックボーンを持つベースラインu-netは0.817、古典的なsentinel-2イメージしきい値は0.652)に対して、jaccardインデックスが0.882に到達しました。最後に, 知識蒸留によって, nnU-Netと比較して, 分割能力を維持しながら, 劇的に小さく (ほぼ280倍) なU-Netを実現できることを示した。

関連論文リスト

Semantic Segmentation in Satellite Hyperspectral Imagery by Deep Learning [54.094272065609815]
本稿では1D-Justo-LiuNetという軽量な1D-CNNモデルを提案する。 1D-Justo-LiuNetは、全てのテストモデルの中で最小のモデルサイズ (4,563 パラメータ) を持つ最大精度 (0.93) を達成する。
論文参考訳（メタデータ） (2023-10-24T21:57:59Z)
An Accurate and Efficient Neural Network for OCTA Vessel Segmentation and a New Dataset [2.8743451550676866]
OCTA画像における網膜血管セグメンテーションのための高精度かつ効率的なニューラルネットワークを提案する。提案するネットワークは,パラメータが少なく,推論速度も速く,他のSOTA手法に匹敵する精度を実現している。 918個のOCTA画像とそれに対応する血管アノテーションを含む新しいデータセットを作成する。
論文参考訳（メタデータ） (2023-09-18T04:47:12Z)
A Light-weight Deep Learning Model for Remote Sensing Image Classification [70.66164876551674]
リモートセンシング画像分類(RSIC)のための高性能で軽量なディープラーニングモデルを提案する。 NWPU-RESISC45ベンチマークで広範な実験を行うことで、提案した教師学生モデルは最先端システムより優れている。
論文参考訳（メタデータ） (2023-02-25T09:02:01Z)
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
論文参考訳（メタデータ） (2023-01-02T18:59:31Z)
MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文参考訳（メタデータ） (2022-11-07T04:31:17Z)
Self-Configuring nnU-Nets Detect Clouds in Satellite Images [30.46904432868366]
nnU-Netsは、さまざまなデータセット上でセグメンテーションネットワークのメタラーニングを実行することができる、自己再構成可能なフレームワークである。 Sentinel-2とLandsat-8のマルチスペクトル画像を用いて行った実験により,nnU-Netsは手動設計なしで最先端のクラウドセグメンテーション性能を実現することがわかった。
論文参考訳（メタデータ） (2022-10-24T23:39:58Z)
EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文参考訳（メタデータ） (2022-06-21T17:59:56Z)
Rethinking BiSeNet For Real-time Semantic Segmentation [6.622485130017622]
BiSeNetはリアルタイムセグメンテーションのための人気のある2ストリームネットワークであることが証明されている。本稿では,stdc( short-term dense concatenate network)と呼ばれる新しい構造を提案する。
論文参考訳（メタデータ） (2021-04-27T13:49:47Z)
U-Net Based Architecture for an Improved Multiresolution Segmentation in Medical Images [0.0]
我々は,マルチレゾリューション・フレームワークを用いた画像分割のための完全畳み込みニューラルネットワークを提案している。提案したアーキテクチャ(mrU-Net)では、入力画像とそのダウンサンプルバージョンをネットワーク入力として使用した。ネットワークを4つの異なる医療データセットでトレーニングし、テストしました。
論文参考訳（メタデータ） (2020-07-16T10:19:01Z)
Road Segmentation on low resolution Lidar point clouds for autonomous vehicles [3.6020689500145653]
道路分割作業の精度に及ぼす高密度点雲のサブサンプリング画像による表現の影響を評価する。 LIDARの球面座標を既存のLoDNNアーキテクチャの入力チャネルとして用いる。
論文参考訳（メタデータ） (2020-05-27T00:38:39Z)
Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。ベースライン上での精度と学習収束性を一貫した改善を示す。提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文参考訳（メタデータ） (2020-04-10T11:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。