論文の概要: Beyond Linear Superposition: Discovering Climate Features in AI Weather Models with KAN-SAE

• arxiv url: http://arxiv.org/abs/2605.17493v1
• Date: Sun, 17 May 2026 15:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.119572
• Title: Beyond Linear Superposition: Discovering Climate Features in AI Weather Models with KAN-SAE
• Title（参考訳）: 線形重ね合わせを超えて - Kan-SAEによるAI気象モデルにおける気候特性の発見
• Authors: Minjong Cheon,
• Abstract要約: 我々はKolmogorov-Arnold Networks (KANs) から得られた学習可能なB-splineアクティベーションを持つスパースオートエンコーダであるkan-SAEを紹介する。 この結果から,ディープラーニング天気予報モデルの機械論的解釈には非線形アクティベーションが不可欠であることが示唆された。
• 参考スコア（独自算出の注目度）: 3.993449663756884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning weather prediction models achieve remarkable predictive skill yet remain largely opaque: we know little about how they represent physical climate phenomena internally. Mechanistic interpretability through Sparse Autoencoders (SAEs) offers a principled route to decomposing these representations, but existing SAEs assume strictly linear feature superposition - a constraint ill-suited for the highly nonlinear atmospheric dynamics encoded in modern transformers. We introduce KAN-SAE, a sparse autoencoder whose encoder replaces the standard ReLU with learnable per-feature B-spline activations drawn from Kolmogorov-Arnold Networks (KANs), allowing each latent dimension to develop its own nonlinear gating profile. Applied to Sonny, KAN-SAE discovers 975 alive features (vs. 566 for a linear baseline, a 72% improvement) with 20% lower inter-feature redundancy and comparable reconstruction fidelity. Without any climate supervision, KAN-SAE identifies an interpretable European heatwave feature spatially concentrated over western Europe, and a western Pacific typhoon tracker confirmed by causal steering experiments. Our results demonstrate that nonlinear activations are essential for mechanistic interpretability of deep learning weather prediction models, recovering climate features that remain invisible to linear baselines.
• Abstract（参考訳）: 深層学習の天気予報モデルは目覚ましい予測能力を達成するが、まだほとんど不透明である。 スパースオートエンコーダ(SAE)による機械的解釈可能性(Mechanistic Interpretability)は、これらの表現を分解するための原則的な経路を提供するが、既存のSAEは厳密な線形特徴重畳(英語版)を前提としている。 我々は,標準ReLUのエンコーダを,Kolmogorov-Arnold Networks (KAN) から引き出された学習可能なB-スプラインアクティベーションに置き換えたスパースオートエンコーダであるKan-SAEを紹介し,各潜在次元が独自の非線形ゲーティングプロファイルを開発できるようにする。 Sonny に応用すると Kan-SAE は 975 の生存特性 (リニアベースラインは 566 で 72% の改善) を発見できる。 気候の監視がなければ、カン・サエは西ヨーロッパに空間的に集中するヨーロッパ熱波の特徴を解釈可能とし、西太平洋の台風追跡装置を因果操舵実験で確認した。 以上の結果から, 非線形アクティベーションは深層学習天気予報モデルの機械論的解釈に不可欠であることが示唆された。

関連論文リスト

• Outperforming Self-Attention Mechanisms in Solar Irradiance Forecasting via Physics-Guided Neural Networks [0.0]
  アーキテクチャの深さよりもドメイン知識を優先する軽量な物理インフォームドハイブリッドCNN-BiLSTMフレームワークを提案する。 標準的なデータ駆動アプローチとは異なり、私たちのモデルは、Clear-Sky IndicesやSolar Zenith Angleなど15のエンジニアリングされた特徴のベクターによって明示的に導かれています。 スーダンのNASA POWERデータを用いた実験的検証では、我々の物理誘導によるアプローチが19.53W/m2のルート平均角誤差(RMSE)を達成し、複雑な注意ベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2026-04-15T04:17:20Z)
• Target Concept Tuning Improves Extreme Weather Forecasting [51.43578341469291]
  気象予報のための深層学習モデルは、台風のような珍しいが高影響の出来事でしばしば失敗する。 既存の微調整手法は、これらの極端な出来事を見落とし、全体的なパフォーマンスを犠牲にしてそれらを過度に適合させるというトレードオフに直面します。 モデルの改良によって上記の問題を解決するための,解釈可能な概念付き微調整フレームワークであるTaCTを提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:34:05Z)
• Toward generative machine learning for boosting ensembles of climate simulations [0.0]
  気候シミュレーションの限られたサンプルに基づいて学習した条件付き変分オートエンコーダ(cVAE)を開発し,任意の大規模なアンサンブルを生成する。 cVAEモデルはデータの基盤となる分布を学習し、現実的な低モーメントと高モーメントの統計を再現する物理的に一貫したサンプルを生成する。
  論文  参考訳（メタデータ） (2026-02-06T00:54:19Z)
• FengWu-W2S: A deep learning model for seamless weather-to-subseasonal forecast of global atmosphere [53.22497376154084]
  本研究では,FengWuグローバル気象予報モデルに基づくFengWu-Weather to Subseasonal (FengWu-W2S)を提案する。 我々は,FengWu-W2Sが大気環境を3～6週間先まで確実に予測し,マデン・ジュリア振動 (MJO) や北大西洋振動 (NAO) などの地球表面温度, 降水量, 地磁気高度, 季節内信号の予測能力を向上させることを実証した。 日時から季節時の予測誤差成長に関するアブレーション実験
  論文  参考訳（メタデータ） (2024-11-15T13:44:37Z)
• A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics [8.012940782999975]
  我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。 このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。 ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
  論文  参考訳（メタデータ） (2024-07-16T20:44:09Z)
• Residual Corrective Diffusion Modeling for Km-scale Atmospheric Downscaling [58.456404022536425]
  気象・気候からの物理的危険予知技術の現状には、粗い解像度のグローバルな入力によって駆動される高価なkmスケールの数値シミュレーションが必要である。 ここでは、コスト効率のよい機械学習代替手段として、このようなグローバルな入力をkmスケールにダウンスケールするために、生成拡散アーキテクチャを探索する。 このモデルは、台湾上空の地域気象モデルから2kmのデータを予測するために訓練され、世界25kmの再解析に基づいている。
  論文  参考訳（メタデータ） (2023-09-24T19:57:22Z)
• Deep Learning Based Cloud Cover Parameterization for ICON [55.49957005291674]
  我々は,実地域およびグローバルICONシミュレーションに基づいて,粗粒度データを用いたNNベースのクラウドカバーパラメータ化を訓練する。 グローバルに訓練されたNNは、地域シミュレーションのサブグリッドスケールのクラウドカバーを再現することができる。 我々は,コラムベースNNがグローバルから局所的な粗粒データに完全に一般化できない理由として,特定の湿度と雲氷上の過剰なエンハンシスを同定する。
  論文  参考訳（メタデータ） (2021-12-21T16:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。