論文の概要: Transfer Learning with Pretrained Remote Sensing Transformers

• arxiv url: http://arxiv.org/abs/2209.14969v1
• Date: Wed, 28 Sep 2022 17:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:30:18.489823
• Title: Transfer Learning with Pretrained Remote Sensing Transformers
• Title（参考訳）: 予習型リモートセンシングトランスによる転送学習
• Authors: Anthony Fuller, Koreen Millard, and James R. Green
• Abstract要約: 我々は、SatViT-V2と呼ばれる新しいRSトランスを事前訓練する。 それぞれのモデルをそれぞれのバイオムで個別にトレーニングし、他のすべてのバイオムでテストします。 SatViT-V2 が SatViT-V1 を3.1% 上回っていることが判明した。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although the remote sensing (RS) community has begun to pretrain transformers (intended to be fine-tuned on RS tasks), it is unclear how these models perform under distribution shifts. Here, we pretrain a new RS transformer--called SatViT-V2--on 1.3 million satellite-derived RS images, then fine-tune it (along with five other models) to investigate how it performs on distributions not seen during training. We split an expertly labeled land cover dataset into 14 datasets based on source biome. We train each model on each biome separately and test them on all other biomes. In all, this amounts to 1638 biome transfer experiments. After fine-tuning, we find that SatViT-V2 outperforms SatViT-V1 by 3.1% on in-distribution (matching biomes) and 2.8% on out-of-distribution (mismatching biomes) data. Additionally, we find that initializing fine-tuning from the linear probed solution (i.e., leveraging LPFT [1]) improves SatViT-V2's performance by another 1.2% on in-distribution and 2.4% on out-of-distribution data. Next, we find that pretrained RS transformers are better calibrated under distribution shifts than non-pretrained models and leveraging LPFT results in further improvements in model calibration. Lastly, we find that five measures of distribution shift are moderately correlated with biome transfer performance. We share code and pretrained model weights. (https://github.com/antofuller/SatViT)
• Abstract（参考訳）: リモートセンシング(rs)コミュニティはトランスフォーマー(rsタスクで微調整される予定)の事前訓練を開始したが、これらのモデルがどのように分布シフトで実行されるのかは明らかではない。 ここでは、SatViT-V2と呼ばれる新しいRS変換器を130万個の衛星由来のRS画像にプリトレーニングした後、(他の5つのモデルとともに)微調整して、トレーニング中に見えない分布に対してどのように動作するかを調査する。 筆者らは,専門的なラベル付き土地被覆データセットを,ソースバイオームに基づく14のデータセットに分割した。 各バイオームのモデルを個別に訓練し、他の全てのバイオームでテストします。 総じて、これは1638年のバイオーム転移実験に相当する。 微調整後、SatViT-V2がSatViT-V1を3.1%上回り(バイオミームのマッチング)、2.8%のアウト・オブ・ディストリビューション(バイオミームのミスマッチ)データを上回ります。 さらに,線形プローブ溶液(lpft[1])からの微調整の初期化により,satvit-v2の性能が1.2%向上し,分散データの2.4%向上した。 次に、事前学習したRSトランスは、非事前学習モデルよりも分布シフト下でのキャリブレーションが良く、LPFTを活用することにより、モデルキャリブレーションがさらに改善されることを見出した。 最後に, 分布変化の5つの指標が, バイオム伝達性能と適度に相関していることを見いだした。 コードと事前訓練されたモデルの重みを共有します。 (https://github.com/antofuller/SatViT)

関連論文リスト

• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• ExPLoRA: Parameter-Efficient Extended Pre-Training to Adapt Vision Transformers under Domain Shifts [52.1635661239108]
  本稿では,事前学習された視覚変換器(ViT)のドメインシフト下での伝達学習を改善するために,ExPLoRAを提案する。 我々の実験は、衛星画像の最先端の成果を実証し、完全な事前学習や微調整のViTよりも優れています。
  論文  参考訳（メタデータ） (2024-06-16T15:14:56Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• MixFormerV2: Efficient Fully Transformer Tracking [49.07428299165031]
  トランスフォーマーベースのトラッカーは標準ベンチマークで高い精度を実現している。 しかし、その効率性は、GPUとCPUプラットフォームの両方での実践的なデプロイの障害であり続けている。 本稿では,EmphMixFormerV2と呼ばれるフルトランスフォーマートラッキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T09:50:54Z)
• Transfer-learning for video classification: Video Swin Transformer on multiple domains [0.609170287691728]
  Video Swin Transformer (VST) は、ビデオ分類用に開発された純粋なトランスフォーマーモデルである。 2つの大規模データセット上でのVSTの性能について検討する。
  論文  参考訳（メタデータ） (2022-10-18T16:24:55Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• The Fully Convolutional Transformer for Medical Image Segmentation [2.87898780282409]
  そこで本研究では,様々なモダリティの医用画像の分割が可能なトランスフォーマーモデルを提案する。 FCT(Fully Convolutional Transformer)は、医学画像学における最初の完全畳み込みトランスモデルである。
  論文  参考訳（メタデータ） (2022-06-01T15:22:41Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。