論文の概要: Superposition Is Not Necessary: A Mechanistic Interpretability Analysis of Transformer Representations for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2605.05151v1
• Date: Wed, 06 May 2026 17:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.958762
• Title: Superposition Is Not Necessary: A Mechanistic Interpretability Analysis of Transformer Representations for Time Series Forecasting
• Title（参考訳）: 重ね合わせは不要:時系列予測のための変圧器表現の機械論的解釈可能性解析
• Abstract要約: スパースオートエンコーダを用いてPatchTSTの内部表現を探索する。 解析されたFFN表現が強い重ね合わせに依存するという実証的な証拠は見つからない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures have been widely adopted for time series forecasting, yet whether the representational mechanisms that make them powerful in NLP actually engage on time series data remains unexplored. The persistent competitiveness of simple linear models such as DLinear has fueled ongoing debate, but no mechanistic explanation for this phenomenon has been offered. We address this gap by applying sparse autoencoders (SAEs), a tool from mechanistic interpretability, to probe the internal representations of PatchTST. We first establish that a single-layer, narrow-dimensional transformer matches the forecasting performance of deeper configurations across commonly used benchmarks. We then train SAEs on the post-GELU intermediate FFN activations with dictionary sizes ranging from 0.5x to 4.0x the native dimensionality. Expanding the dictionary yields negligible downstream performance change (average 0.214%), with large portions of overcomplete dictionaries remaining inactive. Targeted causal interventions on dominant latent features produce minimal forecast perturbation. Across all evaluated settings, we observe no empirical evidence that the analyzed FFN representations rely on strong superposition. Instead, the representations remain sparse, stable under aggressive dictionary expansion, and largely insensitive to latent interventions. These results demonstrate that superposition is not necessary for competitive performance on standard forecasting benchmarks, suggesting they may not demand the rich compositional representations that drive transformer success in language modeling, and helping explain the persistent competitiveness of simple linear models
• Abstract（参考訳）: トランスフォーマーアーキテクチャは時系列予測に広く採用されているが、NLPに強力な表現機構が実際に時系列データに関わっているかどうかは未定である。 DLinearのような単純な線形モデルの永続的な競合性は、現在進行中の議論を加速させているが、この現象に関する力学的な説明は提供されていない。 PatchTSTの内部表現を探索するために、機械的解釈可能性のツールであるスパースオートエンコーダ(SAE)を適用することで、このギャップに対処する。 まず, 単層狭次元変圧器は, 一般的に用いられるベンチマークにおいて, より深い構成の予測性能と一致することを確かめる。 次に、GELU後のFFN活性化に対して、ネイティブ次元の0.5倍から4.0倍の辞書サイズでSAEを訓練する。 辞書を拡張すると、下流のパフォーマンスの変化は無視できる(平均0.214%)。 支配的な潜在特徴に対する因果的介入は、最小限の予測摂動をもたらす。 評価されたすべての設定において、解析されたFFN表現が強い重ね合わせに依存しているという実証的な証拠は見つからない。 代わりに、表現はまばらで、攻撃的な辞書拡張の下で安定しており、主に潜伏介入に敏感である。 これらの結果は、標準予測ベンチマーク上での競合性能には重ね合わせは必要ないことを示し、言語モデリングにおけるトランスフォーマーの成功を促すリッチな構成表現を要求せず、単純線形モデルの永続的な競合性を説明するのに役立つことを示唆している。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models [49.67598869075125]
  自己回帰型言語モデリングにおいて、確率回路(PC)はTransformer-based large language model(LLM)より遅れている 構造化分解可能なPCは, 変圧器分離ランクをvtree整列パーティションに合わせることができるが, この容量は固定されたルーティング構造に整列したパーティションに限られる。 さらに、分解可能なPCは構造化された分解可能なPCよりも厳密に表現可能であることを証明していますが、効果的に最適化することはオープンな課題です。
  論文  参考訳（メタデータ） (2026-05-13T03:22:10Z)
• FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting [3.542013483233134]
  FISFormerはファジィ推論システム駆動トランスフォーマーで、従来の注意をFISインタラクションメカニズムに置き換える。 FISFormerは、最先端のTransformer変種と比較して予測精度、ノイズの堅牢性、解釈性に優れる。
  論文  参考訳（メタデータ） (2026-03-23T09:12:47Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• GenFacts-Generative Counterfactual Explanations for Multi-Variate Time Series [5.364986293275663]
  提案するTextbfGenFactsは、可塑性および作用可能な対実的説明を生成するための新しい生成フレームワークである。 我々は,レーダジェスチャ認識に関するGenFactsを産業的ユースケースとして評価し,手書き文字トラジェクトリを直感的なベンチマークとして検討した。
  論文  参考訳（メタデータ） (2025-09-25T09:22:19Z)
• Parameter-Efficient Transformer Embeddings [0.0]
  本稿では,トークンの埋め込みベクトルをトークンIDから直接決定的に生成する手法を提案する。 自然言語推論タスクで標準トランスフォーマーとアーキテクチャをトレーニングします。 提案手法は, パラメータをはるかに少なくし, 高速かつ効果的に動作し, ドロップアウトを必要とせずに性能を向上することを示した。
  論文  参考訳（メタデータ） (2025-05-04T21:47:18Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Distributed Lag Transformer based on Time-Variable-Aware Learning for Explainable Multivariate Time Series Forecasting [4.572747329528556]
  分散ラグ変換器(DLFormer)は、説明可能でスケーラブルな時系列モデルのための新しいトランスフォーマーアーキテクチャである。 DLFormerは分散ラグ埋め込みと時間変数認識学習(TVAL)機構を統合し、局所的およびグローバルな時間的依存関係の両方を構造的にモデル化する。 実験により、DLFormerは、変数の賢さと時間的ダイナミクスに対する堅牢で解釈可能な洞察を提供しながら、予測精度を達成することが示された。
  論文  参考訳（メタデータ） (2024-08-29T20:39:54Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space [49.029910567673824]
  トランスフォーマーベース言語モデル(LM)は現代のNLPの中核にあるが、内部予測構築プロセスは不透明であり、ほとんど理解されていない。 我々は、フィードフォワードネットワーク(FFN)層の動作をリバースエンジニアリングすることで、この基盤となる予測プロセスの公開に向けて大きな一歩を踏み出した。
  論文  参考訳（メタデータ） (2022-03-28T12:26:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。