論文の概要: Context Matters: Leveraging Spatiotemporal Metadata for Semi-Supervised Learning on Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2404.18583v1
- Date: Mon, 29 Apr 2024 10:47:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 14:07:29.206881
- Title: Context Matters: Leveraging Spatiotemporal Metadata for Semi-Supervised Learning on Remote Sensing Images
- Title(参考訳): 文脈的問題:リモートセンシング画像を用いた半教師付き学習のための時空間メタデータの活用
- Authors: Maximilian Bernhard, Tanveer Hannan, Niklas Strauß, Matthias Schubert,
- Abstract要約: 現在のアプローチでは、未ラベルサンプルのモデル予測から擬似ラベルを生成する。
擬似ラベルの品質向上のために,SSLにおける時空間情報の利用を提案する。
テスト時に予測器の入力に利用可能なメタデータを追加すると、トレーニングセットの時間分布外のメタデータの予測品質が劣化することを示す。
- 参考スコア(独自算出の注目度): 2.518656729567209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remote sensing projects typically generate large amounts of imagery that can be used to train powerful deep neural networks. However, the amount of labeled images is often small, as remote sensing applications generally require expert labelers. Thus, semi-supervised learning (SSL), i.e., learning with a small pool of labeled and a larger pool of unlabeled data, is particularly useful in this domain. Current SSL approaches generate pseudo-labels from model predictions for unlabeled samples. As the quality of these pseudo-labels is crucial for performance, utilizing additional information to improve pseudo-label quality yields a promising direction. For remote sensing images, geolocation and recording time are generally available and provide a valuable source of information as semantic concepts, such as land cover, are highly dependent on spatiotemporal context, e.g., due to seasonal effects and vegetation zones. In this paper, we propose to exploit spatiotemporal metainformation in SSL to improve the quality of pseudo-labels and, therefore, the final model performance. We show that directly adding the available metadata to the input of the predictor at test time degenerates the prediction quality for metadata outside the spatiotemporal distribution of the training set. Thus, we propose a teacher-student SSL framework where only the teacher network uses metainformation to improve the quality of pseudo-labels on the training set. Correspondingly, our student network benefits from the improved pseudo-labels but does not receive metadata as input, making it invariant to spatiotemporal shifts at test time. Furthermore, we propose methods for encoding and injecting spatiotemporal information into the model and introduce a novel distillation mechanism to enhance the knowledge transfer between teacher and student. Our framework dubbed Spatiotemporal SSL can be easily combined with several stat...
- Abstract(参考訳): リモートセンシングプロジェクトは一般的に、強力なディープニューラルネットワークのトレーニングに使用できる大量の画像を生成する。
しかし、リモートセンシングアプリケーションは通常、専門家のラベル付けを必要とするため、ラベル付き画像の量は少ないことが多い。
このように、ラベル付きデータの小さなプールと大きなラベル付きデータのプールで学習する半教師付き学習(SSL)は、この領域で特に有用である。
現在のSSLアプローチは、未ラベルサンプルのモデル予測から擬似ラベルを生成する。
これらの擬似ラベルの品質はパフォーマンスに不可欠であるため、擬似ラベルの品質を改善するために追加情報を活用することにより、有望な方向性が得られる。
リモートセンシング画像では、位置情報と記録時間は一般的に利用可能であり、土地被覆などの意味概念として貴重な情報源は、季節的影響や植生帯により、時空間、例えば時空間に大きく依存している。
本稿では,SSLの時空間情報を利用して擬似ラベルの品質を向上し,最終的なモデル性能を評価することを提案する。
テスト時の予測器の入力に利用可能なメタデータを直接付加すると、トレーニングセットの時空間分布外のメタデータの予測品質が劣化することを示す。
そこで本研究では,教師ネットワークのみがmetainformationを使用して,学習セット上の擬似ラベルの品質を向上する,教師学生向けSSLフレームワークを提案する。
それに対応して、学生ネットワークは、改善された擬似ラベルの恩恵を受けるが、メタデータを入力として受け取らないため、テスト時の時空間シフトに不変である。
さらに, モデルに時空間情報を符号化し, 注入する方法を提案し, 教師と学生の知識伝達を促進する新しい蒸留機構を提案する。
Spatiotemporal SSLと呼ばれる私たちのフレームワークは、簡単にいくつかの統計データと組み合わせることができる。
関連論文リスト
- Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-20T01:34:13Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Learned representation-guided diffusion models for large-image generation [58.192263311786824]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳(メタデータ) (2023-12-12T14:45:45Z) - Synthetic Augmentation with Large-scale Unconditional Pre-training [4.162192894410251]
アノテーション付きデータへの依存性を低減するため,HistoDiffusionという合成拡張手法を提案する。
HistoDiffusionは、大規模にラベル付けされていないデータセットで事前トレーニングし、その後、拡張トレーニングのために小さなラベル付きデータセットに適用することができる。
本手法は,3つの病理組織学的データセットを事前学習し,大腸癌の病理組織学的データセット(CRC)を事前学習データセットから除外して評価する。
論文 参考訳(メタデータ) (2023-08-08T03:34:04Z) - Universal Semi-Supervised Learning for Medical Image Classification [21.781201758182135]
セミ教師付き学習(SSL)は、適切なラベル付きトレーニングデータを収集するコストを削減できるため、多くの注目を集めている。
従来のSSLは、ラベル付きデータとラベルなしデータが同じディストリビューションのものであるべきだという仮定に基づいて構築されている。
本研究では,未表示のラベル付きデータを利用した半教師付き医療画像分類のための統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-08T16:12:36Z) - Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint
Localization [88.74813798138466]
オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。
キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。
本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
論文 参考訳(メタデータ) (2022-01-21T09:51:58Z) - Semi-weakly Supervised Contrastive Representation Learning for Retinal
Fundus Images [0.2538209532048867]
本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。
SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
論文 参考訳(メタデータ) (2021-08-04T15:50:09Z) - Remote Sensing Image Scene Classification with Self-Supervised Paradigm
under Limited Labeled Samples [11.025191332244919]
我々は,大規模なラベル付きデータからRSIシーン分類のための高性能事前学習モデルを得るために,新たな自己教師付き学習(SSL)機構を導入する。
一般的な3つのRSIシーン分類データセットの実験により、この新たな学習パラダイムは、従来の支配的なImageNet事前学習モデルよりも優れていることが示された。
我々の研究から得られた知見は、リモートセンシングコミュニティにおけるSSLの発展を促進するのに役立ちます。
論文 参考訳(メタデータ) (2020-10-02T09:27:19Z) - Information Bottleneck Constrained Latent Bidirectional Embedding for
Zero-Shot Learning [59.58381904522967]
本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。
視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。
本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
論文 参考訳(メタデータ) (2020-09-16T03:54:12Z) - Density-Aware Graph for Deep Semi-Supervised Visual Recognition [102.9484812869054]
半教師付き学習(SSL)は、視覚認識のためのディープニューラルネットワークの一般化能力を改善するために広く研究されている。
本稿では,周辺情報を容易に活用できる新しい密度対応グラフを構築することでSSL問題を解決することを提案する。
論文 参考訳(メタデータ) (2020-03-30T02:52:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。