論文の概要: SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models

• arxiv url: http://arxiv.org/abs/2603.22097v1
• Date: Mon, 23 Mar 2026 15:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.751493
• Title: SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models
• Title（参考訳）: SpecTM: 信頼できる基礎モデルのためのスペクトルターゲットマスキング
• Authors: Syed Usama Imtiaz, Mitra Nasr Azadani, Nasrin Alamdari,
• Abstract要約: SpecTMは物理インフォームド・マスクの設計であり、対象のバンドをスペクトル間から再構成することを奨励している。 R2 = 0.695 (現在の週) と R2 = 0.620 (8日間) の予測を (+34% (0.51リッジ) と +99% (SVR 0.31) で上回っている。 極度の不足下では2.2倍のラベル効率で強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are now increasingly being developed for Earth observation (EO), yet they often rely on stochastic masking that do not explicitly enforce physics constraints; a critical trustworthiness limitation, in particular for predictive models that guide public health decisions. In this work, we propose SpecTM (Spectral Targeted Masking), a physics-informed masking design that encourages the reconstruction of targeted bands from cross-spectral context during pretraining. To achieve this, we developed an adaptable multi-task (band reconstruction, bio-optical index inference, and 8-day-ahead temporal prediction) self-supervised learning (SSL) framework that encodes spectrally intrinsic representations via joint optimization, and evaluated it on a downstream microcystin concentration regression model using NASA PACE hyperspectral imagery over Lake Erie. SpecTM achieves R^2 = 0.695 (current week) and R^2 = 0.620 (8-day-ahead) predictions surpassing all baseline models by (+34% (0.51 Ridge) and +99% (SVR 0.31)) respectively. Our ablation experiments show targeted masking improves predictions by +0.037 R^2 over random masking. Furthermore, it outperforms strong baselines with 2.2x superior label efficiency under extreme scarcity. SpecTM enables physics-informed representation learning across EO domains and improves the interpretability of foundation models.
• Abstract（参考訳）: 基礎モデルは地球観測(EO)のために開発が進んでいるが、物理の制約を明示的に強制しない確率的なマスキング(特に公衆の健康決定を導く予測モデル)に頼っていることが多い。 そこで本研究では,物理情報を用いたマスクデザインであるSpecTM(Spectral Targeted Masking)を提案する。 そこで我々は, 共同最適化によりスペクトル固有表現を符号化し, NASA PACEハイパースペクトル画像を用いた下流マイクロシステイン濃度回帰モデルを用いて, 適応可能なマルチタスク(バンド再構成, 生体光学的指標推定, 8日間の時間的予測) 自己教師付き学習(SSL)フレームワークを開発した。 SpecTM は R^2 = 0.695 (現在の週) と R^2 = 0.620 (8日前) の予測を (+34% (0.51 Ridge) と +99% (SVR 0.31) で上回っている。 我々のアブレーション実験は、標的マスキングがランダムマスキングよりも+0.037 R^2の予測を改善することを示した。 さらに、極度の不足下では2.2倍のラベル効率で強いベースラインを上回ります。 SpecTMは、EOドメイン間の物理インフォームド表現学習を可能にし、基礎モデルの解釈可能性を向上させる。

関連論文リスト

• Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity [29.467658072159114]
  Masked Diffusion Language Modelsは、最近強力な生成パラダイムとして登場した。 本研究では、これらの性質を$k$-parity問題の設定内で検討する。 MD目標を$k$-parity問題に適用してナノGPTをトレーニングすることにより,MD目標が学習環境を根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-01-30T01:36:00Z)
• Visual Autoregressive Modelling for Monocular Depth Estimation [69.01449528371916]
  本稿では,視覚的自己回帰(VAR)に基づく単眼深度推定手法を提案する。 提案手法は,大規模テキスト・画像VARモデルに適応し,スケールワイド・コンディショナル・アップサンプリング機構を導入する。 本研究では,屋内ベンチマークにおける制約付きトレーニング条件下での最先端性能と,屋外データセットに適用した場合の強い性能について報告する。
  論文  参考訳（メタデータ） (2025-12-27T17:08:03Z)
• VFMF: World Modeling by Forecasting Vision Foundation Model Features [67.09340259579761]
  本稿では,視覚基礎モデルの特徴空間における自己回帰フローマッチングを行う生成予測器を提案する。 この潜伏情報の方がPCAベースの代替案よりも効果的であることを示す。 一致したアーキテクチャと計算により、本手法はすべてのモダリティにおける回帰よりもシャープで正確な予測を生成する。
  論文  参考訳（メタデータ） (2025-12-12T02:10:05Z)
• Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
  第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。 We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
  論文  参考訳（メタデータ） (2025-11-04T17:22:22Z)
• A Physics-Guided AI Cascaded Corrector Model Significantly Extends Madden-Julian Oscillation Prediction Skill [12.768001894587576]
  我々は、MJO(PCC-MJO)のための新しいディープラーニングフレームワーク、物理誘導カスケードコレクターを導入する。 PCC-MJOは、動的モデルからMJO予測を補正するための普遍的なポストプロセッサとして機能する。 我々の研究は、将来的な物理的に一貫した、計算的に効率的で、非常に一般化可能な経路を提供し、海底予測における長年の障壁を突破する。
  論文  参考訳（メタデータ） (2025-10-20T14:41:48Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
  我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。 ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
  論文  参考訳（メタデータ） (2023-11-27T21:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。