論文の概要: AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

• arxiv url: http://arxiv.org/abs/2412.14123v1
• Date: Wed, 18 Dec 2024 18:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:47.055862
• Title: AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities
• Title（参考訳）: AnySat: あらゆる解像度、スケール、モダリティの地球観測モデル
• Authors: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu,
• Abstract要約: 本稿では,JEPAと分解能適応型空間エンコーダに基づくマルチモーダルモデルであるAnySatを提案する。 この統一アプローチの利点を示すために、5ドルのマルチモーダルデータセットのコレクションであるGeoPlexをコンパイルする。 次に、これらの多様なデータセット上で、単一の強力なモデルを同時にトレーニングします。
• 参考スコア（独自算出の注目度）: 5.767156832161819
• License:
• Abstract: Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of $5$ multimodal datasets with varying characteristics and $11$ distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and $4$ additional ones for $5$ environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.
• Abstract（参考訳）: 地球空間モデルは、解像度、スケール、モダリティの点で地球観測データの多様性に適応しなければならない。 しかし、既存のアプローチでは、実際の適用性を制限する固定された入力構成が期待されている。 我々は,JEPA(Joint Embedding predictive Architecture)と分解能適応型空間エンコーダに基づくマルチモーダルモデルであるAnySatを提案する。 この統一アプローチの利点を実証するため、GeoPlexをコンパイルした。 次に、これらの多様なデータセット上で、単一の強力なモデルを同時にトレーニングします。 GeoPlexのデータセットと、土地被覆マッピング、樹木種識別、作物の種類分類、変更検出、洪水分断といった環境モニタリングタスクに5ドル(約5万5000円)の追加の4ドル(約4万5000円)の費用がかかる。 コードとモデルはhttps://github.com/gastruc/AnySat.comで入手できる。

関連論文リスト

• Multi-Scale and Multimodal Species Distribution Modeling [4.022195138381868]
  種分布モデル (SDM) は, 発生データと環境変数の分布を予測することを目的としている。 SDMへのディープラーニングの最近の応用は、特に空間データを含む新しい道を可能にしている。 我々はSDMのモジュール構造を開発し、シングルスケールとマルチスケールの両方でスケールの効果をテストする。 GeoLifeCLEF 2023ベンチマークの結果は、マルチモーダルデータとマルチスケール表現の学習を考えると、より正確なモデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-11-06T15:57:20Z)
• SpectralEarth: Training Hyperspectral Foundation Models at Scale [47.93167977587301]
  ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチ時間データセットであるSpectralEarthを紹介する。 我々は、最先端の自己教師付き学習(SSL)アルゴリズムを用いて、SpectralEarthの一連の基礎モデルを事前訓練する。 我々は、土地被覆と収穫型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-08-15T22:55:59Z)
• SatSwinMAE: Efficient Autoencoding for Multiscale Time-series Satellite Imagery [1.6180992915701702]
  衛星時系列データのための時間情報を統合するために,SwinEモデルを拡張した。 このアーキテクチャでは、階層的な3D Masked Autoencoder (MAE) と Video Swin Transformer ブロックを採用している。 提案手法は, 既存の基盤モデルに対して, 評価された下流タスクすべてに対して, 大幅な性能向上を図っている。
  論文  参考訳（メタデータ） (2024-05-03T22:55:56Z)
• UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction [93.77809355002591]
  さまざまなデータセット、モデル、評価基準を統一する包括的なフレームワークであるUniTrajを紹介する。 我々は広範な実験を行い、他のデータセットに転送するとモデルの性能が大幅に低下することがわかった。 これらの知見を説明するために,データセットの特徴に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-22T10:36:50Z)
• Fewshot learning on global multimodal embeddings for earth observation tasks [5.057850174013128]
  地球の総面積の10%以上をカバーする衛星画像の3つの異なるモードを用いて、CLIP/ViTベースのモデルを事前訓練する。 我々は、従来の機械学習手法を用いて、各モードで生成された埋め込みを用いて、地球観測のために異なる下流タスクを試みている。 ラベルのない埋め込み空間は、私たちが選択したラベル付きデータセットで表される異なる地球の特徴に感受性があることを視覚的に示す。
  論文  参考訳（メタデータ） (2023-09-29T20:15:52Z)
• T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
  拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。 本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。 モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
  論文  参考訳（メタデータ） (2023-05-24T03:32:03Z)
• Heterogenous Ensemble of Models for Molecular Property Prediction [55.91865861896012]
  分子の異なるモーダル性を考える手法を提案する。 これらのモデルをHuberRegressorでアンサンブルします。 これにより、OGB Large-Scale Challenge (2022)の2textsuperscriptndエディションの勝利のソリューションが得られる。
  論文  参考訳（メタデータ） (2022-11-20T17:25:26Z)
• Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
  本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。 クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。 MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
  論文  参考訳（メタデータ） (2021-06-08T00:30:43Z)
• VAE-Info-cGAN: Generating Synthetic Images by Combining Pixel-level and Feature-level Geospatial Conditional Inputs [0.0]
  画素レベル(PLC)と特徴レベル(FLC)を同時に条件付けした意味的リッチな画像を合成するための条件生成モデルを提案する。 GPSデータセットを用いた実験では,提案モデルが地理的に異なる場所にまたがる様々な形態のマクロアグリゲーションを正確に生成できることが示されている。
  論文  参考訳（メタデータ） (2020-12-08T03:46:19Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。