論文の概要: Context-Aware Multimodal Representation Learning for Spatio-Temporally Explicit Environmental Modelling

• arxiv url: http://arxiv.org/abs/2511.11706v2
• Date: Tue, 18 Nov 2025 13:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.690998
• Title: Context-Aware Multimodal Representation Learning for Spatio-Temporally Explicit Environmental Modelling
• Title（参考訳）: 時空間的環境モデリングのための文脈認識型マルチモーダル表現学習
• Authors: Julia Peters, Karin Mora, Miguel D. Mahecha, Chaonan Ji, David Montero, Clemens Mosig, Guido Kraemer,
• Abstract要約: 本稿では,高時間分解能で異なるモダリティを統一空間に統合する表現学習フレームワークを提案する。 提案手法は,クラウドフリーのSentinel-2データの時間周波数と10mのネイティブ解像度で遅延空間を生成する。 これにより、モデルが補完的なリモートセンシングデータをキャプチャし、空間と時間のコヒーレンスを保存することができる。
• 参考スコア（独自算出の注目度）: 3.3984815208531014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Earth observation (EO) foundation models have emerged as an effective approach to derive latent representations of the Earth system from various remote sensing sensors. These models produce embeddings that can be used as analysis-ready datasets, enabling the modelling of ecosystem dynamics without extensive sensor-specific preprocessing. However, existing models typically operate at fixed spatial or temporal scales, limiting their use for ecological analyses that require both fine spatial detail and high temporal fidelity. To overcome these limitations, we propose a representation learning framework that integrates different EO modalities into a unified feature space at high spatio-temporal resolution. We introduce the framework using Sentinel-1 and Sentinel-2 data as representative modalities. Our approach produces a latent space at native 10 m resolution and the temporal frequency of cloud-free Sentinel-2 acquisitions. Each sensor is first modeled independently to capture its sensor-specific characteristics. Their representations are then combined into a shared model. This two-stage design enables modality-specific optimisation and easy extension to new sensors, retaining pretrained encoders while retraining only fusion layers. This enables the model to capture complementary remote sensing data and to preserve coherence across space and time. Qualitative analyses reveal that the learned embeddings exhibit high spatial and semantic consistency across heterogeneous landscapes. Quantitative evaluation in modelling Gross Primary Production reveals that they encode ecologically meaningful patterns and retain sufficient temporal fidelity to support fine-scale analyses. Overall, the proposed framework provides a flexible, analysis-ready representation learning approach for environmental applications requiring diverse spatial and temporal resolutions.
• Abstract（参考訳）: 地球観測基盤モデル(EO)は、様々なリモートセンシングセンサーから地球系の潜在性表現を導出するための効果的なアプローチとして登場した。 これらのモデルは、分析可能なデータセットとして使用可能な埋め込みを生成し、センサー固有の事前処理を伴わずにエコシステムダイナミクスのモデリングを可能にする。 しかし、既存のモデルは通常固定された空間的または時間的スケールで動作し、微細な空間的詳細と高い時間的忠実さの両方を必要とする生態学的分析に使用を制限する。 これらの制約を克服するため、高時空間分解能で異なるEOモダリティを統一された特徴空間に統合する表現学習フレームワークを提案する。 本稿では,Sentinel-1とSentinel-2のデータを用いたフレームワークについて紹介する。 提案手法は, クラウドフリーのSentinel-2 取得の時間周波数と, 10m のネイティブ解像度で遅延空間を生成する。 それぞれのセンサーは、そのセンサー固有の特徴を捉えるために、まず独立してモデル化される。 それらの表現は、共有モデルに結合される。 この2段階の設計により、モダリティ特異的な最適化と、新しいセンサーへの拡張が容易になり、事前訓練されたエンコーダを維持しながら、融合層のみをリトレーニングすることができる。 これにより、モデルが補完的なリモートセンシングデータをキャプチャし、空間と時間のコヒーレンスを保存することができる。 定性的解析により、学習された埋め込みは異質な風景にまたがって高い空間的・意味的な整合性を示すことが明らかとなった。 Grossプライマリ生産のモデル化における定量的評価は、生態学的に意味のあるパターンを符号化し、微細な分析を支援するのに十分な時間的忠実性を保っていることを示している。 提案するフレームワークは,多様な空間的・時間的解決を必要とする環境アプリケーションに対して,フレキシブルで解析可能な表現学習手法を提供する。

関連論文リスト

• Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
  作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。 Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。 高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-10-27T03:52:45Z)
• RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
  本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。 従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。 実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-10-16T17:59:13Z)
• DFYP: A Dynamic Fusion Framework with Spectral Channel Attention and Adaptive Operator learning for Crop Yield Prediction [18.24061967822792]
  DFYPは、作物収量予測のための新しい動的融合フレームワークである。 スペクトルチャネルアテンション、エッジ適応空間モデリング、学習可能な融合機構を組み合わせる。 DFYPはRMSE、MAE、R2の最先端ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-08T10:24:04Z)
• Holistic Surgical Phase Recognition with Hierarchical Input Dependent State Space Models [56.2236083600999]
  手術映像解析のための階層型入力依存状態空間モデルを提案する。 本フレームワークは,時間的一貫した視覚特徴抽出器を内蔵し,状態空間モデルヘッドを視覚特徴抽出器に付加し,時間的情報を伝達する。 実験により,本手法は最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-26T14:43:57Z)
• Spatial-Temporal-Spectral Unified Modeling for Remote Sensing Dense Prediction [20.1863553357121]
  リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。 本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。 STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。 様々な密集した予測タスクと多様な意味クラス予測を統一する。
  論文  参考訳（メタデータ） (2025-05-18T07:39:17Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• DynST: Dynamic Sparse Training for Resource-Constrained Spatio-Temporal Forecasting [31.398965880415492]
  地球科学システムは、センサーの広範な展開に大きく依存している。 従来のセンサー配置アプローチでは、特定のアルゴリズムを使用してセンサーを設計および展開する。 本稿では,スパース時間データダイナミックスパーストレーニングの概念を初めて紹介し,適応的かつ動的に重要な分布センサをフィルタリングすることにコミットする。
  論文  参考訳（メタデータ） (2024-03-05T12:31:24Z)
• FREE: The Foundational Semantic Recognition for Modeling Environmental Ecosystems [56.0640340392818]
  我々は、様々な特徴と利用可能な情報を使ってユニバーサルモデルを訓練するフレームワーク、FREEを導入する。 その中核となる考え方は、利用可能な環境データをテキスト空間にマッピングし、環境科学における従来の予測モデリングタスクを意味認識問題に変換することである。 河川水温予測と収穫量予測という2つの社会学的に重要な実世界の応用に対する評価は、FREEが複数のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-17T00:53:09Z)
• A spatio-temporal LSTM model to forecast across multiple temporal and spatial scales [0.0]
  本稿では,環境データセットに適用した時系列予測のための新しい時空間LSTM(SPATIAL)アーキテクチャを提案する。 このフレームワークは、複数のセンサーにまたがって評価され、現在の速度、温度、溶存酸素の3つの異なる海洋変数に対して評価された。
  論文  参考訳（メタデータ） (2021-08-26T16:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。