論文の概要: UtoMe: Observation-Uncertainty-Guided Token Merging for Weather Foundation Models

• arxiv url: http://arxiv.org/abs/2610.25001v1
• Date: Sun, 18 Oct 2026 04:12:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:01:41.23297
• Title: UtoMe: Observation-Uncertainty-Guided Token Merging for Weather Foundation Models
• Title（参考訳）: UtoMe:気象モデルのための観測不確実性誘導型トークンマージ
• Abstract要約: トークンマージは計算を削減できるが、特徴的類似性だけでは、この不均一な入力の不確実性は説明できない。 相対的な入力-信頼性プロキシとして展開されるアンサンブルデータ同化とダイナミックス・サリエンシを組み合わせた,観測不確実性誘導型トークンマージフレームワークであるUtoMeを紹介する。
• 参考スコア（独自算出の注目度）: 23.346533353216188
• License:
• Abstract: Weather transformers process dense reanalysis fields whose reliability varies across variables, locations, and weather regimes. Token merging can reduce computation, but feature similarity alone does not account for this heterogeneous input uncertainty. We introduce UtoMe, an observation-uncertainty-guided token merging framework that combines dynamics saliency with ensemble data assimilation spread as a relative input-reliability proxy. The resulting importance score protects selected tokens as anchors and calibrates bipartite matching between the remaining tokens. Three variants use external uncertainty at both training and inference, during training only, or neither stage. In ERA5 72-hour forecasting at two spatial resolutions, UtoMe improves Overall error over train-time ToMe at matched token budgets. At $1.40625^\circ$ and 50% token reduction, UtoMe-E lowers Overall error from 67.32 to 53.00 at the same 0.55x encoder FLOPs. Small reductions remain close to the full-token baseline; larger reductions incur measurable accuracy losses. Component ablations and spatial uncertainty controls support combining dynamics with aligned uncertainty when allocating a weather transformer's token budget.
• Abstract（参考訳）: 気象変圧器は、信頼性が変数、場所、気象条件によって異なる密集した再分析場を処理する。 トークンマージは計算を削減できるが、特徴的類似性だけでは、この不均一な入力の不確実性は説明できない。 相対的な入力-信頼性プロキシとして展開されるアンサンブルデータ同化とダイナミックス・サリエンシを組み合わせた,観測不確実性誘導型トークンマージフレームワークであるUtoMeを紹介する。 結果の重要度スコアは、選択されたトークンをアンカーとして保護し、残りのトークン間での双方向マッチングをカリブレートする。 3つの変種はトレーニングと推論の両方で外的不確実性を使用する。 2つの空間解像度でのERA5 72時間の予測では、UtoMeは一致したトークン予算での列車時間ToMeの全体的なエラーを改善する。 40625^\circ$と50%のトークン還元で、UtoMe-Eは総誤差を67.32から53.00に下げる。 小さい減算は完全な基準線に近いままであり、より大きな減算は測定可能な精度の損失を減少させる。 コンポーネントの短縮と空間的不確実性制御は、気象変動器のトークン予算を割り当てる際の力学と整合性の不確実性の組み合わせをサポートする。

関連論文リスト

• Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression [2.3215806943173676]
  市販モデルのトレーニングフリーフレームワークであるPrune-and Merge ViTを提案する。 クラスアテンションベースのプルーニングと類似性ベースのマージを組み合わせることで、セマンティック情報を保持しながら冗長性を低減します。 事前訓練されたViTとDeiTでは、Prune-and-Mergeは既存のトークン削減手法よりも堅牢性と精度を保ちながら、計算を競争的に削減する。
  論文  参考訳（メタデータ） (2026-10-13T09:29:25Z)
• Adaptive Robust Confidence Sets in High Dimensions [60.353542776481596]
  本研究では,不確実性を同時に定量化することにより,情報理論的に最適な適応信頼セットを構築することができることを示す。 統計的には最適であるが、この構成は計算的に不可能である。
  論文  参考訳（メタデータ） (2026-10-11T16:00:46Z)
• LapMerge: Differentiable Exact-Budget Token Merging in Linear Time [45.497817967484536]
  順序付けられたシーケンスのトレードオフを解消する、微分可能なマージ演算子であるLapMergeを紹介します。 学習された質量分布は、その配列を正確に$N$の等質量セグメントにラプラス核密度で分割する。 ドロップインリダクションモジュールとしても、トレーニング可能なアーキテクチャコンポーネントとしても機能します。
  論文  参考訳（メタデータ） (2026-10-09T17:07:17Z)
• Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention [0.0]
  レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
  論文  参考訳（メタデータ） (2026-08-19T17:50:16Z)
• Less Tokens, Better Forecasts: Sparse Residual Routing for Efficient Weather Prediction [24.266851703305004]
  Viベースの天気予報モデルは、近くの大気グリッドポイントが時間とともに同様の値や領域を含む場合であっても、すべての空間トークンにわたって計算を適用する。 パラメータフリーなプラグインルーティングモジュールであるSparse-Reslimを導入する。 ERA5の解像度は0.25textdegree標準と2つのモデルファミリ、決定論的トランスフォーマーと拡散モデルまでで、Sparse-Reslimは評価変数の予測精度を著しく向上し、コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-07-02T23:43:01Z)
• Uncertainty-Aware Token Importance Estimation in Spiking Transformers [62.69151655133869]
  スパイキングトランスフォーマーは、ニューロモルフィックな視覚に強い可能性を示しているが、そのトークン処理は複数のスパイキングステップにまたがっても、かなりの冗長性と推論コストをもたらす。 スパイキングトランスのためのフリー・プラグ・アンド・プレイトークン重要度推定フレームワークUncertを提案する。
  論文  参考訳（メタデータ） (2026-05-10T02:54:54Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation [3.018583625592182]
  ほとんどの推定器は、全ての不確実性モードを単一の信頼スコアに分解し、いつより多くの計算を割り当てるか、あるいは推論を調整するべきかについての信頼性の高い推論を防ぐ。 非確実性誘導推論時間選択(Uncertainty-Guided Inference-Time Selection)は,データ駆動型(データ駆動型)とモデル駆動型不確実性を,深い特徴空間で直接的に解消する軽量な推論時間フレームワークである。
  論文  参考訳（メタデータ） (2025-11-15T23:47:30Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。