論文の概要: Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

• arxiv url: http://arxiv.org/abs/2304.14065v4
• Date: Mon, 5 Feb 2024 01:29:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:39:34.061562
• Title: Lightweight, Pre-trained Transformers for Remote Sensing Timeseries
• Title（参考訳）: リモートセンシング時系列用軽量予習変圧器
• Authors: Gabriel Tseng, Ruben Cartuyvels, Ivan Zvonkov, Mirali Purohit, David Rolnick, Hannah Kerner
• Abstract要約: Prestoは、リモートセンシングピクセル時系列データに基づいて事前訓練されたモデルである。 世界中に分散したリモートセンシングタスクに優れ、より大きなモデルと競争的に機能する。
• 参考スコア（独自算出の注目度）: 33.44703824007848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning methods for satellite data have a range of societally relevant applications, but labels used to train models can be difficult or impossible to acquire. Self-supervision is a natural solution in settings with limited labeled data, but current self-supervised models for satellite data fail to take advantage of the characteristics of that data, including the temporal dimension (which is critical for many applications, such as monitoring crop growth) and availability of data from many complementary sensors (which can significantly improve a model's predictive performance). We present Presto (the Pretrained Remote Sensing Transformer), a model pre-trained on remote sensing pixel-timeseries data. By designing Presto specifically for remote sensing data, we can create a significantly smaller but performant model. Presto excels at a wide variety of globally distributed remote sensing tasks and performs competitively with much larger models while requiring far less compute. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.
• Abstract（参考訳）: 衛星データの機械学習手法は、社会的な応用範囲が広いが、モデルの訓練に用いられるラベルは、取得が困難か不可能である。 セルフスーパービジョン(Self-supervision)は、ラベル付きデータに制限のある設定において自然なソリューションであるが、現在の衛星データに対するセルフ教師付きモデルは、時間次元(作物の成長を監視するなど、多くのアプリケーションにとって重要な)や、多くの補完センサーからのデータの可用性(モデルの予測性能を著しく向上させる)など、そのデータの特徴を生かしていない。 リモートセンシングの時系列データに基づいて事前学習したPresto(Pretrained Remote Sensing Transformer)を提案する。 リモートセンシングデータに特化してPrestoを設計することにより、はるかに小さいがパフォーマンスのモデルを作成することができる。 Prestoは、多種多様なグローバル分散リモートセンシングタスクに優れ、はるかに少ない計算を必要としながら、はるかに大きなモデルと競争的に機能する。 Prestoは、転送学習や単純なモデルの機能抽出に使用することができ、大規模に効率的にデプロイできる。

関連論文リスト

• A Predictive Model Based on Transformer with Statistical Feature Embedding in Manufacturing Sensor Dataset [2.07180164747172]
  本研究では,統計的特徴埋め込みとウィンドウ位置符号化を利用したトランスフォーマーに基づく新しい予測モデルを提案する。 モデルの性能は, 断層検出と仮想気象学の2つの問題で評価され, ベースラインモデルよりも優れた結果を示した。 結果は、様々な製造業におけるモデルの適用性を支持し、プロセス管理と収量を高める可能性を示している。
  論文  参考訳（メタデータ） (2024-07-09T08:59:27Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery [5.671254904219855]
  我々は、複数のセンサからマルチスペクトルデータを入力し、自己教師付き事前学習を可能にする、USatと呼ばれる新しいエンコーダアーキテクチャを開発した。 我々は、UatをMasked Autoencoder(MAE)自己教師付き事前訓練手順に統合し、事前訓練されたUatがリモートセンシングデータに基づいてトレーニングされた最先端のMAEモデルより優れていることを確認する。
  論文  参考訳（メタデータ） (2023-12-02T19:17:04Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• InPars: Data Augmentation for Information Retrieval using Large Language Models [5.851846467503597]
  本研究では,大規模な事前学習型言語モデルの,情報検索タスクのための合成データ生成機能を利用する。 我々は、教師なしデータセットのみに微調整されたモデルが、BM25のような強力なベースラインより優れていることを示す。 教師付きデータと我々の合成データの両方に微調整されたレトリバーは、教師付きデータにのみ微調整されたモデルよりも優れたゼロショット転送を実現する。
  論文  参考訳（メタデータ） (2022-02-10T16:52:45Z)
• Soft Sensing Transformer: Hundreds of Sensors are Worth a Single Word [4.829772176792801]
  我々は,Soft Sensing Transformerモデルによる産業用ビッグデータのモデル化の課題と有効性を示す。 文構造とセンサ読取の類似性を観察し,時系列における多次元センサ読取を自然言語で類似した方法で処理する。 その結果、トランスモデルは、自動エンコーダと長短期メモリ(LSTM)モデルに基づいて、ソフトセンシング分野のベンチマークモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-10T22:31:32Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Transformer-Based Behavioral Representation Learning Enables Transfer Learning for Mobile Sensing in Small Datasets [4.276883061502341]
  時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。 このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
  論文  参考訳（メタデータ） (2021-07-09T22:26:50Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。