論文の概要: Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

• arxiv url: http://arxiv.org/abs/2304.14065v3
• Date: Sat, 30 Sep 2023 13:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 17:44:41.801448
• Title: Lightweight, Pre-trained Transformers for Remote Sensing Timeseries
• Title（参考訳）: リモートセンシング時系列用軽量予習変圧器
• Authors: Gabriel Tseng, Ruben Cartuyvels, Ivan Zvonkov, Mirali Purohit, David Rolnick, Hannah Kerner
• Abstract要約: リモートセンシングデータに対する現在の自己教師付き学習アプローチは、自然画像に適用された技術から大きなインスピレーションを得ている。 リモートセンシングデータに特化してアーキテクチャや自己教師型トレーニング技術を設計することで、はるかに小さなパフォーマンスモデルを作成することができることを示す。 本稿では,リモートセンシング画素時系列データに基づくトランスモデルであるPretrained Remote Sensing Transformer(Presto)を紹介する。
• 参考スコア（独自算出の注目度）: 33.44703824007848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models for parsing remote sensing data have a wide range of societally relevant applications, but labels used to train these models can be difficult or impossible to acquire. This challenge has spurred research into self-supervised learning for remote sensing data aiming to unlock the use of machine learning in geographies or application domains where labelled datasets are small. Current self-supervised learning approaches for remote sensing data draw significant inspiration from techniques applied to natural images. However, remote sensing data has important differences from natural images -- for example, the temporal dimension is critical for many tasks and data is collected from many complementary sensors. We show we can create significantly smaller performant models by designing architectures and self-supervised training techniques specifically for remote sensing data. We introduce the Pretrained Remote Sensing Transformer (Presto), a transformer-based model pre-trained on remote sensing pixel-timeseries data. Presto excels at a wide variety of globally distributed remote sensing tasks and performs competitively with much larger models while requiring far less compute. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.
• Abstract（参考訳）: リモートセンシングデータを解析するための機械学習モデルには、社会的に関係のある幅広い応用があるが、これらのモデルをトレーニングするのに使用されるラベルは、取得が困難または不可能である。 この課題は、ラベル付きデータセットが小さい地理的領域やアプリケーション領域での機械学習の使用を解き放つことを目的とした、リモートセンシングデータの自己教師あり学習の研究を促した。 リモートセンシングデータに対する現在の自己教師付き学習アプローチは、自然画像に適用された技術から大きなインスピレーションを得ている。 しかし、リモートセンシングデータには、自然画像との重要な違いがある。例えば、時間次元は多くのタスクに重要であり、多くの補完センサーからデータを収集する。 我々は,リモートセンシングデータに特化したアーキテクチャと自己教師ありトレーニング手法を設計することで,はるかに小さなパフォーマンスモデルを作成することができることを示す。 本稿では,リモートセンシング画素時系列データに基づくトランスモデルであるPretrained Remote Sensing Transformer(Presto)を紹介する。 Prestoは、多種多様なグローバル分散リモートセンシングタスクに優れ、はるかに少ない計算を必要としながら、はるかに大きなモデルと競争的に機能する。 Prestoは、転送学習や単純なモデルの機能抽出に使用することができ、大規模に効率的にデプロイできる。

関連論文リスト

• A Predictive Model Based on Transformer with Statistical Feature Embedding in Manufacturing Sensor Dataset [2.07180164747172]
  本研究では,統計的特徴埋め込みとウィンドウ位置符号化を利用したトランスフォーマーに基づく新しい予測モデルを提案する。 モデルの性能は, 断層検出と仮想気象学の2つの問題で評価され, ベースラインモデルよりも優れた結果を示した。 結果は、様々な製造業におけるモデルの適用性を支持し、プロセス管理と収量を高める可能性を示している。
  論文  参考訳（メタデータ） (2024-07-09T08:59:27Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery [5.671254904219855]
  我々は、複数のセンサからマルチスペクトルデータを入力し、自己教師付き事前学習を可能にする、USatと呼ばれる新しいエンコーダアーキテクチャを開発した。 我々は、UatをMasked Autoencoder(MAE)自己教師付き事前訓練手順に統合し、事前訓練されたUatがリモートセンシングデータに基づいてトレーニングされた最先端のMAEモデルより優れていることを確認する。
  論文  参考訳（メタデータ） (2023-12-02T19:17:04Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• InPars: Data Augmentation for Information Retrieval using Large Language Models [5.851846467503597]
  本研究では,大規模な事前学習型言語モデルの,情報検索タスクのための合成データ生成機能を利用する。 我々は、教師なしデータセットのみに微調整されたモデルが、BM25のような強力なベースラインより優れていることを示す。 教師付きデータと我々の合成データの両方に微調整されたレトリバーは、教師付きデータにのみ微調整されたモデルよりも優れたゼロショット転送を実現する。
  論文  参考訳（メタデータ） (2022-02-10T16:52:45Z)
• Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word [4.829772176792801]
  我々は,Soft Sensing Transformerモデルによる産業用ビッグデータのモデル化の課題と有効性を示す。 文構造とセンサ読取の類似性を観察し,時系列における多次元センサ読取を自然言語で類似した方法で処理する。 その結果、トランスモデルは、自動エンコーダと長短期メモリ(LSTM)モデルに基づいて、ソフトセンシング分野のベンチマークモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-10T22:31:32Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Transformer-Based Behavioral Representation Learning Enables Transfer Learning for Mobile Sensing in Small Datasets [4.276883061502341]
  時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。 このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
  論文  参考訳（メタデータ） (2021-07-09T22:26:50Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。