論文の概要: Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2603.10071v1
• Date: Tue, 10 Mar 2026 04:31:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.61233
• Title: Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models
• Title（参考訳）: 分別クロノス: スパースオートエンコーダによる時系列基礎モデルにおける因果的特徴の階層化
• Authors: Anurag Mishra,
• Abstract要約: 時系列基礎モデル (TSFM) は、ハイテイク領域にますます展開されている。 TSFMにスパースオートエンコーダ(SAE)を初めて適用し,Chronos-T5-Largeパラメータの活性化に関するTopK SAEを訓練する。
• 参考スコア（独自算出の注目度）: 3.7819322027528113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models (TSFMs) are increasingly deployed in high-stakes domains, yet their internal representations remain opaque. We present the first application of sparse autoencoders (SAEs) to a TSFM, training TopK SAEs on activations of Chronos-T5-Large (710M parameters) across six layers. Through 392 single-feature ablation experiments, we establish that every ablated feature produces a positive CRPS degradation, confirming causal relevance. Our analysis reveals a depth-dependent hierarchy: early encoder layers encode low-level frequency features, the mid-encoder concentrates causally critical change-detection features, and the final encoder compresses a rich but less causally important taxonomy of temporal concepts. The most critical features reside in the mid-encoder (max single-feature Delta CRPS = 38.61), not in the semantically richest final encoder layer, where progressive ablation paradoxically improves forecast quality. These findings demonstrate that mechanistic interpretability transfers effectively to TSFMs and that Chronos-T5 relies on abrupt-dynamics detection rather than periodic pattern recognition.
• Abstract（参考訳）: 時系列基礎モデル (TSFM) は、ハイテイク領域にますます展開されているが、内部表現は不透明である。 6層にわたるChronos-T5-Large (710Mパラメータ) の活性化に関するTopK SAEsのトレーニングを行う。 392個の単機能アブレーション実験により、各アブレーションされた特徴が正のCRPS分解を生じ、因果関係を確かめる。 初期エンコーダ層は低レベルの周波数特徴を符号化し,中エンコーダは因果的に重要な変化検出機能に集中し,最終エンコーダは時間的概念の豊富だが因果的に重要でない分類を圧縮する。 最も重要な特徴は中間エンコーダ (max single-feature Delta CRPS = 38.61) にあり、セマンティックに豊かな最終エンコーダ層には存在せず、プログレッシブアブレーションは予測品質をパラドックス的に改善する。 これらの結果から,機械的解釈性はTSFMに効果的に伝達し,Chronos-T5は周期的パターン認識よりも急激な動的検出に依存していることが明らかとなった。

関連論文リスト

• Improving Reconstruction of Representation Autoencoder [52.817427902597416]
  低レベル情報を欠いた意味的特徴を増強する表現オートエンコーダLV-RAEを提案する。 実験により,LV-RAEは意味的抽象化を保ちながら,再構成の忠実度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2026-02-09T13:12:35Z)
• Toward Diffusible High-Dimensional Latent Spaces: A Frequency Perspective [73.86108756585857]
  我々は、エンコーダ/デコーダの動作を分析し、デコーダが詳細を回復するために高周波遅延成分に強く依存していることを確認する。 本稿ではFreqWarmについて紹介する。FreqWarmはプラグアンドプレイの周波数ウォームアップカリキュラムで、高周波潜時信号の早期露出を増大させる。
  論文  参考訳（メタデータ） (2025-11-27T09:20:36Z)
• HiMAE: Hierarchical Masked Autoencoders Discover Resolution-Specific Structure in Wearable Time Series [12.476150662404741]
  マスク付きオートエンコーディングと階層的畳み込みエンコーダデコーダを組み合わせた自己教師型フレームワークであるHiMAE(Hierarchical Masked Autoencoder)を紹介する。 HiMAEは、時間スケールの予測信号の体系的な評価を可能にするマルチ解像度埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-10-28T14:15:45Z)
• Spectral Insights into Data-Oblivious Critical Layers in Large Language Models [7.486925126518052]
  我々は,事前調整言語モデルにおいて,本質的な臨界層を特定するためのデータ公開アプローチを提案する。 表現空間が著しく変化する層も微調整時に最も影響を受ける層であることを示す。
  論文  参考訳（メタデータ） (2025-05-31T04:21:39Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Temporally Consistent Koopman Autoencoders for Forecasting Dynamical Systems [38.36312939874359]
  時間的に一貫したクープマンオートエンコーダ(tcKAE)を導入する。 tcKAEは、限られたノイズの多いトレーニングデータであっても、正確な長期予測を生成する。 我々は、様々なテストケースにおいて、最先端のKAEモデルよりもtcKAEの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-03-19T00:48:25Z)
• Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
  動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。 時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。 STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-03-14T02:26:10Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
  時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
  論文  参考訳（メタデータ） (2020-06-15T09:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。