論文の概要: Task-Agnostic Fusion of Time Series and Imagery for Earth Observation
- arxiv url: http://arxiv.org/abs/2510.23118v1
- Date: Mon, 27 Oct 2025 08:38:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:15.498299
- Title: Task-Agnostic Fusion of Time Series and Imagery for Earth Observation
- Title(参考訳): 地球観測のための時系列・画像のタスク非依存融合
- Authors: Gianfranco Basile, Johannes Jakubik, Benedikt Blumenstiel, Thomas Brunschwiler, Juan Bernabe Moreno,
- Abstract要約: 本稿では,時系列と単一タイムスタンプ画像のマルチモーダル融合のためのタスク非依存フレームワークを提案する。
本手法は時系列量子化のための決定論的および学習戦略を探索する。
我々のモデルは衛星画像から一貫した地球温度分布を生成する。
- 参考スコア(独自算出の注目度): 4.012968772806928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a task-agnostic framework for multimodal fusion of time series and single timestamp images, enabling cross-modal generation and robust downstream performance. Our approach explores deterministic and learned strategies for time series quantization and then leverages a masked correlation learning objective, aligning discrete image and time series tokens in a unified representation space. Instantiated in the Earth observation domain, the pretrained model generates consistent global temperature profiles from satellite imagery and is validated through counterfactual experiments. Across downstream tasks, our task-agnostic pretraining outperforms task-specific fusion by 6\% in R$^2$ and 2\% in RMSE on average, and exceeds baseline methods by 50\% in R$^2$ and 12\% in RMSE. Finally, we analyze gradient sensitivity across modalities, providing insights into model robustness. Code, data, and weights will be released under a permissive license.
- Abstract(参考訳): 本稿では,時系列と単一タイムスタンプ画像のマルチモーダル融合のためのタスク依存フレームワークを提案する。
提案手法では,時系列量子化のための決定論的および学習戦略を探索し,マスク付き相関学習目標を活用し,離散画像と時系列トークンを統一表現空間に整列させる。
地球観測領域で実証された事前訓練されたモデルは、衛星画像から一貫した地球温度プロファイルを生成し、カウンターファクト実験によって検証される。
タスク非依存の事前学習は, RMSEのR$^2$, RMSEのR$^2$, RMSEの12\%のベースライン法を平均6倍に上回り, RMSEのR$^2$, RMSEのベースライン法を50倍に上回っている。
最後に、モダリティ間の勾配感度を分析し、モデルロバスト性に関する洞察を提供する。
コード、データ、重み付けはパーミッシブなライセンスでリリースされます。
関連論文リスト
- Vision-LLMs for Spatiotemporal Traffic Forecasting [14.700408329373998]
大規模言語モデル(LLM)は、グリッドベースのトラフィックデータの複雑な空間的依存関係をモデル化するのに本質的に苦労する。
本稿では,視覚言語融合問題として時間的予測を行う新しいフレームワークであるST-Vision-LLMを提案する。
また,ST-Vision-LLMでは,長期予測精度が15.6%向上し,クロスドメインシナリオでは30.04%以上向上した。
論文 参考訳(メタデータ) (2025-10-13T11:15:56Z) - Towards Anytime Retrieval: A Benchmark for Anytime Person Re-Identification [85.78039373517021]
Anytime Person Re-identification (AT-ReID) は、時間変動に基づく複数のシナリオにおいて効果的な検索を実現することを目的としている。
最初の大規模なデータセットであるAT-USTCは、複数の服を着ている人の403万枚の画像を含む。
シナリオ固有の特徴学習のためのマルチシナリオReIDフレームワークを含むUni-ATという統一モデルを提案する。
論文 参考訳(メタデータ) (2025-09-20T11:20:22Z) - Leveraging Intermediate Representations of Time Series Foundation Models for Anomaly Detection [0.0]
時系列基礎モデル(TSFM)は異常検出のための強力なツールとして登場した。
TSFMの中間層表現を利用した新しい異常検出手法であるTimeRepを提案する。
TimeRepは、最先端のベースラインの幅広いスペクトルを一貫して上回る。
論文 参考訳(メタデータ) (2025-09-16T04:10:17Z) - MSSDF: Modality-Shared Self-supervised Distillation for High-Resolution Multi-modal Remote Sensing Image Learning [25.381211868583826]
本稿では,高解像度RGB画像,マルチスペクトルデータ,デジタル表面モデル(DSM)を事前学習に用いるマルチモーダル自己教師学習フレームワークを提案する。
提案手法は,シーン分類,セマンティックセグメンテーション,変化検出,オブジェクト検出,深度推定など,典型的なリモートセンシングアプリケーションを対象として,複数のダウンストリームタスクに対して評価を行う。
論文 参考訳(メタデータ) (2025-06-11T02:01:36Z) - TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification [13.110156202816112]
シフト等分散のような特性を持つパターンを捉えるための新しい多視点手法を提案する。
提案手法は, スペクトル, 時間, 局所, グローバルな特徴を含む多様な特徴を統合して, TSCのリッチで相補的な文脈を得る。
提案手法では,TSCモデルよりも平均精度が4.01-6.45%,7.93%向上した。
論文 参考訳(メタデータ) (2024-06-06T18:05:10Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。
階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
論文 参考訳(メタデータ) (2023-05-11T10:30:35Z) - Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。
本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。
提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文 参考訳(メタデータ) (2023-04-04T17:59:04Z) - An Unsupervised Short- and Long-Term Mask Representation for
Multivariate Time Series Anomaly Detection [2.387411589813086]
本稿では,教師なし短時間・長期マスク表現学習(SLMR)に基づく異常検出手法を提案する。
実験により,本手法の性能は,実世界の3つのデータセットにおいて,他の最先端モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-19T09:34:11Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳(メタデータ) (2022-07-17T01:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。