論文の概要: Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

• arxiv url: http://arxiv.org/abs/2604.19530v1
• Date: Tue, 21 Apr 2026 14:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.823614
• Title: Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention
• Title（参考訳）: 推論時間確率的注意による科学基礎モデルの校正
• Authors: Akash Yadav, Taiwo A. Adebiyi, Ruda Zhang,
• Abstract要約: トランスフォーマーベースの科学基盤モデルは、ハイテイクな環境でますます展開されている。 本研究では,ソフトマックス重みを単一濃度パラメータで制御された正規化多重項サンプルに置き換えることにより,注意をランダム化する推論時間修正法であるAttentionを提案する。 気象・時間予測のための2つの科学的基礎モデルにおいて,このメカニズムを付加的なタスク回帰とともに評価する。
• 参考スコア（独自算出の注目度）: 4.613517417540153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based scientific foundation models are increasingly deployed in high-stakes settings, but current architectures give deterministic outputs and provide limited support for calibrated predictive uncertainty. We propose Stochastic Attention, a lightweight inference-time modification that randomizes attention by replacing softmax weights with normalized multinomial samples controlled by a single concentration parameter, and produces predictive ensembles without retraining. To set this parameter, we introduce a calibration objective that matches the stochastic attention output with the target, yielding an efficient univariate post-hoc tuning problem. We evaluate this mechanism on two scientific foundation models for weather and timeseries forecasting along with an additional regression task. Across benchmarks against uncertainty-aware baselines, we find that Stochastic Attention achieves the strongest native calibration and the sharpest prediction intervals at comparable coverage, while requiring only minutes of post-hoc tuning versus days of retraining for competitive baselines.
• Abstract（参考訳）: トランスフォーマーをベースとした科学基盤モデルは、ハイテイクな環境での展開が増えているが、現在のアーキテクチャは決定論的出力を与え、キャリブレーションされた予測の不確実性に対する限定的なサポートを提供する。 単一濃度パラメータで制御される正規化多重項サンプルにソフトマックス重みを置き換え,無作為に注意を向ける軽量な推論時間修正手法であるStochastic Attentionを提案し,再学習せずに予測アンサンブルを生成する。 このパラメータを設定するために、確率的注意出力と目標とを一致させるキャリブレーション目標を導入し、効率的な単変量ポストホックチューニング問題を導出する。 気象・時相予測のための2つの科学的基礎モデルにおいて,このメカニズムを付加回帰タスクとともに評価する。 不確実性を考慮したベースラインに対するベンチマークでは、Stochastic Attentionは最強のネイティブキャリブレーションを達成し、比較対象範囲で最も急激な予測間隔を達成できるが、一方で、競争ベースラインの再トレーニングには数分のポストホックチューニングが必要であった。

関連論文リスト

• Beyond Accuracy: A Stability-Aware Metric for Multi-Horizon Forecasting [0.0]
  本稿では,確率的マルチホライゾン予測の質を評価するための予測精度とコヒーレンススコア(略してACスコア)を紹介する。 その結果,従来の最大推定値よりも大幅に改善した。
  論文  参考訳（メタデータ） (2026-01-15T21:26:57Z)
• Enhancing Transformer-Based Foundation Models for Time Series Forecasting via Bagging, Boosting and Statistical Ensembles [7.787518725874443]
  時系列基礎モデル(TSFM)は、時系列予測、異常検出、分類、計算のための強力な一般化とゼロショット能力を示している。 本稿では, 統計的およびアンサンブルに基づくエンハンスメント技術を用いて, 頑健さと精度を向上させる手法について検討する。
  論文  参考訳（メタデータ） (2025-08-18T04:06:26Z)
• HopCast: Calibration of Autoregressive Dynamics Models [0.0]
  この研究は、モダンホップフィールドネットワーク(MHN)を用いて決定論的予測子の誤りを学習するホップ(hop)と呼ばれる代替のPredictor-Correctorアプローチを導入する。 Correctorは、自動回帰中の任意の時点のコンテキスト状態に基づいて、予測子の出力に対する一連のエラーを予測する。 キャリブレーションと予測性能は一連の力学系で評価される。
  論文  参考訳（メタデータ） (2025-01-27T23:59:23Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
  我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。 具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。 提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
  論文  参考訳（メタデータ） (2023-10-25T02:37:51Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。