論文の概要: Galileo: Learning Global & Local Features of Many Remote Sensing Modalities

• arxiv url: http://arxiv.org/abs/2502.09356v2
• Date: Wed, 28 May 2025 09:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.257146
• Title: Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
• Title（参考訳）: Galileo: リモートセンシングモダリティのグローバルな特徴とローカルな特徴を学習する
• Authors: Gabriel Tseng, Anthony Fuller, Marlena Reil, Henry Herzog, Patrick Beukema, Favyen Bastani, James R. Green, Evan Shelhamer, Hannah Kerner, David Rolnick,
• Abstract要約: そこで本稿では,マスクモデルを用いて,柔軟な入力モダリティの集合にまたがるマルチスケール特徴を抽出する,自己教師付き学習アルゴリズムを提案する。 私たちのガリレオは、11のベンチマークと複数のタスクで衛星画像とピクセル時系列のSoTAスペシャリストモデルを上回る、単一のジェネラリストモデルです。
• 参考スコア（独自算出の注目度）: 34.71460539414284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a highly multimodal transformer to represent many remote sensing modalities - multispectral optical, synthetic aperture radar, elevation, weather, pseudo-labels, and more - across space and time. These inputs are useful for diverse remote sensing tasks, such as crop mapping and flood detection. However, learning shared representations of remote sensing data is challenging, given the diversity of relevant data modalities, and because objects of interest vary massively in scale, from small boats (1-2 pixels and transient) to glaciers (thousands of pixels and persistent). We present a novel self-supervised learning algorithm that extracts multi-scale features across a flexible set of input modalities through masked modeling. Our dual global and local contrastive losses differ in their targets (deep representations vs. shallow input projections) and masking strategies (structured vs. not). Our Galileo is a single generalist model that outperforms SoTA specialist models for satellite images and pixel time series across eleven benchmarks and multiple tasks.
• Abstract（参考訳）: マルチスペクトル光学、合成開口レーダ、標高、天候、擬似ラベルなど、多くのリモートセンシングモードを表現するための高マルチモーダルトランスフォーマーを導入する。 これらの入力は、作物のマッピングや洪水検出といった多様なリモートセンシングタスクに有用である。 しかし、関連するデータモダリティの多様性を考えれば、リモートセンシングデータの共有表現の学習は困難であり、小さなボート(1-2ピクセル、過渡的な)から氷河(2ピクセル、永続的な)まで、興味のある物体は大規模に大きく変化している。 そこで本稿では,マスクモデルを用いて,柔軟な入力モダリティの集合にまたがるマルチスケール特徴を抽出する,自己教師付き学習アルゴリズムを提案する。 我々の二重大域的および局所的コントラスト的損失は、ターゲット(深部表現対浅部入力投影)とマスキング戦略(構造化対非構造)によって異なる。 私たちのガリレオは、11のベンチマークと複数のタスクで衛星画像とピクセル時系列のSoTAスペシャリストモデルを上回る、単一のジェネラリストモデルです。

関連論文リスト

• A Survey on Remote Sensing Foundation Models: From Vision to Multimodality [35.532200523631765]
  リモートセンシングのための視覚とマルチモーダル基礎モデルは、インテリジェントな地理空間データ解釈能力を大幅に向上させた。 データタイプの多様性、大規模アノテートデータセットの必要性、マルチモーダル融合技術の複雑さは、これらのモデルの効果的なデプロイに重大な障害をもたらす。 本稿では、リモートセンシングのための最先端のビジョンモデルとマルチモーダル基礎モデルについて、アーキテクチャ、トレーニング方法、データセット、アプリケーションシナリオに焦点をあててレビューする。
  論文  参考訳（メタデータ） (2025-03-28T01:57:35Z)
• Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
  近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。 本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。 また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
  論文  参考訳（メタデータ） (2024-08-08T11:34:31Z)
• Physics Sensor Based Deep Learning Fall Detection System [0.9128828609564524]
  我々は,組込みセンサを用いたデータ受信装置を備えたTSFallDetectというシステムを構築した。 我々は、慣性およびフィルム圧力センサによって収集されたデータに基づいて、この降下動作予測問題に対処するために、シーケンシャルな深層学習手法を利用する。
  論文  参考訳（メタデータ） (2024-02-29T07:50:06Z)
• Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
  デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。 無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。 そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-08T13:50:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Lightweight, Pre-trained Transformers for Remote Sensing Timeseries [33.44703824007848]
  Prestoは、リモートセンシングピクセル時系列データに基づいて事前訓練されたモデルである。 世界中に分散したリモートセンシングタスクに優れ、より大きなモデルと競争的に機能する。
  論文  参考訳（メタデータ） (2023-04-27T09:52:35Z)
• Semantic Segmentation of Vegetation in Remote Sensing Imagery Using Deep Learning [77.34726150561087]
  本稿では,公開されているリモートセンシングデータからなるマルチモーダル・大規模時間データセットを作成するためのアプローチを提案する。 我々は、異なる種類の植生を分離できる畳み込みニューラルネットワーク(CNN)モデルを使用する。
  論文  参考訳（メタデータ） (2022-09-28T18:51:59Z)
• DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors for Change Detection [31.125812018296127]
  Deno Diffusion Probabilistic Model (DDPM) の事前学習による変化検出のための新しいアプローチを提案する。 DDPMは、訓練画像を徐々にマルコフ連鎖を用いてガウス分布に変換することにより、トレーニングデータ分布を学習する。 推論(サンプリング)中に、トレーニング分布に近い多様なサンプルセットを生成することができる。 LEVIR-CD, WHU-CD, DSIFN-CD, CDDデータセットを用いて行った実験により,提案手法は既存の変化検出法よりもF1スコアで大幅に優れており, I。
  論文  参考訳（メタデータ） (2022-06-23T17:58:29Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Transformer-Based Behavioral Representation Learning Enables Transfer Learning for Mobile Sensing in Small Datasets [4.276883061502341]
  時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。 このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
  論文  参考訳（メタデータ） (2021-07-09T22:26:50Z)
• Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
  モデルに基づく視覚的目標達成のための自己監視手法を提案する。 私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。 このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T23:59:09Z)
• Invariant Feature Learning for Sensor-based Human Activity Recognition [11.334750079923428]
  被験者やデバイス間で共有される共通情報を抽出する不変特徴学習フレームワーク(IFLF)を提案する。 実験により、IFLFは、一般的なオープンデータセットと社内データセットをまたいだ主題とデバイスディバージョンの両方を扱うのに効果的であることが示された。
  論文  参考訳（メタデータ） (2020-12-14T21:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。