論文の概要: When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2606.19363v1
• Date: Wed, 10 Jun 2026 05:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.389334
• Title: When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting
• Title（参考訳）: 軽量でロバストな科学的時系列予測のためのマルチファウンデーションモデルガイダンス
• Authors: Rupasree Dey, Abdul Matin, Nathan Orwick, Yao Zhang, Shrideep Pallickara, Sangmi Lee Pallickara,
• Abstract要約: 時系列基礎モデル(Time-Series Foundation Models)は、特定の科学領域にゼロショットを適用した際、分布上の深刻な不一致に悩まされる。 Gated Uncertainty-Aware Routing for Distillation (Guard)を提案する。 気象,生態系の炭素フラックス,土壌水分,エネルギーグリッドの4つの領域における軽量フレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 10.113331590461996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of Time-Series Foundation Models (TSFMs) in physical sciences is hindered by a critical trade-off: while these models encode rich, universal temporal dynamics, they suffer from severe distributional misalignment when applied zero-shot to specific scientific domains, and their computational cost prohibits deployment in edge-computing sensor networks. We address a fundamental challenge: How can we extract latent structural knowledge from misaligned foundation models (FM) to train lightweight, specialized forecasters? We propose Gated Uncertainty-Aware Routing for Distillation (Guard), a novel framework that reframes multiteacher distillation as an instance-wise decision process with two adaptive mechanisms: (1) a Contextual Router that dynamically selects the most relevant teacher based on local input statistics, exploiting complementarity across diverse foundation models; and (2) an Uncertainty-Gated Temperature mechanism that acts as a "circuit-breaker," automatically attenuating distillation strength when teacher confidence diverges from domain reality. We evaluate our proposed lightweight framework on four climate-critical domains: meteorology, ecosystem carbon flux, soil moisture, and energy grids. Our method significantly reduces RMSE relative to a fixed-weight multi-teacher distillation baseline, successfully distilling knowledge from pretrained FMs (teachers) even when they exhibit suboptimal zero-shot accuracy due to distribution shift between the original and target data domains. We demonstrate that these domain-misaligned teachers can still serve as critical correctives, outperforming the globally superior FMs on 28.5% of the hardest instances. Ultimately, this enables high-precision scientific forecasting suitable for resource-constrained edge deployment. Code is available at https://github.com/RupasreeDey/GUARD-KDD2026.
• Abstract（参考訳）: 物理科学における時系列基礎モデル(TSFM)の展開は、リッチで普遍的な時間的ダイナミクスをエンコードする一方で、特定の科学領域にゼロショットを適用すると、分布上の深刻な不整合に悩まされ、その計算コストはエッジコンピューティングセンサーネットワークへの展開を妨げている。 基礎モデル(FM)から潜在的構造知識を抽出して、軽量で専門的な予測器を訓練するには、どうすればよいのか? 筆者らは,(1)局所的な入力統計に基づいて,最も関連性の高い教師を動的に選択する文脈的ルータ,および,多様な基礎モデル間の相補性を生かした,(2)教師の自信がドメイン現実から逸脱したときに自動的に蒸留強度を低下させる不確実性拡張型温度メカニズム,という2つの適応的なメカニズムを用いて,マルチティーラー蒸留をインスタンスワイズ決定プロセスとして再編成する新しいフレームワークであるGated Uncertainty-Aware Routing for Distillation (Guard)を提案する。 気象,生態系の炭素フラックス,土壌水分,エネルギーグリッドの4つの領域における軽量フレームワークの評価を行った。 提案手法は, 原データ領域と対象データ領域の分散シフトにより, 最適ゼロショット精度を示した場合でも, 固定重多教師蒸留ベースラインと比較してRMSEを著しく低減し, 事前訓練されたFM(教師)からの知識の抽出に成功した。 これらのドメインミスの教師は依然として重要な修正要因として機能し、最も難しいインスタンスの28.5%において、全世界的に優れたFMを上回ります。 最終的には、リソース制約のあるエッジデプロイメントに適した、高精度な科学的予測を可能にする。 コードはhttps://github.com/RupasreeDey/GUARD-KDD2026で公開されている。

関連論文リスト

• MixSD: Mixed Contextual Self-Distillation for Knowledge Injection [29.7616760417696]
  Supervised Fine-tuning (SFT) は言語モデルに新しい知識を注入するために広く使われている。 このことは、人間や外部システムからの微調整対象が、モデルの自動回帰分布から逸脱するためである、と我々は主張する。 分布整合型知識注入のための簡易な外部教師なし手法であるMixSDを提案する。
  論文  参考訳（メタデータ） (2026-05-16T07:57:09Z)
• Earth System Foundation Model (ESFM): A unified framework for heterogeneous data integration and forecasting [52.53742727060265]
  地球系の基礎モデル(FM)は、大量のデータセットにわたる物理変数間の統計的関係を学習する。 本稿では,アース・システム・ファンデーション・モデル(ESFM)について紹介する。 本研究では,高密度グリッドデータ (ERA5, CMIP6) , 地域密集データ, 疎グリッドMODIS衛星データ, 局データを用いた。 結果は、最先端のベンチマークと比較して、競争力や優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-20T11:40:39Z)
• Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation [73.32435804067883]
  Generalizable Knowledge Distillation (GKD)は、一般化を明示的に強化する多段階フレームワークである。 5つの領域一般化ベンチマークの実験は、GKDが既存のKD法を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-03T03:18:12Z)
• Migration as a Probe: A Generalizable Benchmark Framework for Specialist vs. Generalist Machine-Learned Force Fields [1.572216094651749]
  機械学習力場(MLFF)は、分子動力学スケールでのアブ初期レベルの精度を実現することによって、計算材料科学を変革している。 研究者たちは、スペシャリストモデルをスクラッチから訓練するか、ファウンデーショナリストのファンデーションモデルを使うべきか、ハイブリッドアプローチを使うべきか? 本稿では, 弾性バンドトラジェクトリを用いて診断プローブとして評価する, 欠陥マイグレーション経路を用いたベンチマークフレームワークを提案する。 微調整モデルでは、運動特性に対するゼロショットおよびゼロショットのアプローチよりも大幅に優れるが、長距離物理学の部分的な損失を示す。
  論文  参考訳（メタデータ） (2025-08-27T13:24:41Z)
• Adapting to Fragmented and Evolving Data: A Fisher Information Perspective [0.0]
  FADEは動的環境下での堅牢な学習のための軽量フレームワークである。 フィッシャー情報幾何学に固定されたシフトアウェアの正規化機構を採用している。 FADEは固定メモリでオンラインで動作し、ターゲットラベルにアクセスできない。
  論文  参考訳（メタデータ） (2025-07-25T06:50:09Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• UniMix: Towards Domain Adaptive and Generalizable LiDAR Semantic Segmentation in Adverse Weather [55.95708988160047]
  LiDARセマンティックセグメンテーション(LSS)は自動運転において重要な課題である。 事前のLSS法は、晴れた天候下で同じ領域内のデータセットを調査・評価した。 LSSモデルの適応性と一般化性を高める普遍的手法UniMixを提案する。
  論文  参考訳（メタデータ） (2024-04-08T02:02:15Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
  段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。 目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。 この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
  論文  参考訳（メタデータ） (2020-02-26T08:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。