論文の概要: Mechanistic Interpretability for Transformer-based Time Series Classification

• arxiv url: http://arxiv.org/abs/2511.21514v1
• Date: Wed, 26 Nov 2025 15:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.17748
• Title: Mechanistic Interpretability for Transformer-based Time Series Classification
• Title（参考訳）: 変圧器を用いた時系列分類における機械論的解釈可能性
• Authors: Matīss Kalnāre, Sofoklis Kitharidis, Thomas Bäck, Niki van Stein,
• Abstract要約: トランスフォーマーベースのモデルは、時系列分類を含むさまざまな機械学習タスクにおいて最先端のツールとなっている。 既存の説明可能性法は、しばしばインプット・アウトプットの属性に焦点を合わせ、内部メカニズムは概ね不透明である。 本稿では,アクティベーションパッチ,アテンションサリシティ,スパースオートエンコーダなど,様々な機械的解釈可能性技術を適用して,このギャップに対処する。
• 参考スコア（独自算出の注目度）: 1.8682641481190012
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based models have become state-of-the-art tools in various machine learning tasks, including time series classification, yet their complexity makes understanding their internal decision-making challenging. Existing explainability methods often focus on input-output attributions, leaving the internal mechanisms largely opaque. This paper addresses this gap by adapting various Mechanistic Interpretability techniques; activation patching, attention saliency, and sparse autoencoders, from NLP to transformer architectures designed explicitly for time series classification. We systematically probe the internal causal roles of individual attention heads and timesteps, revealing causal structures within these models. Through experimentation on a benchmark time series dataset, we construct causal graphs illustrating how information propagates internally, highlighting key attention heads and temporal positions driving correct classifications. Additionally, we demonstrate the potential of sparse autoencoders for uncovering interpretable latent features. Our findings provide both methodological contributions to transformer interpretability and novel insights into the functional mechanics underlying transformer performance in time series classification tasks.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、時系列分類を含むさまざまな機械学習タスクにおいて最先端のツールとなっているが、その複雑さは、内部決定の理解を困難にしている。 既存の説明可能性法は、しばしばインプット・アウトプットの属性に焦点を合わせ、内部メカニズムは概ね不透明である。 本稿では,NLPから時系列分類用に明示的に設計されたトランスフォーマーアーキテクチャへ,アクティベーションパッチ,アテンションサリシティ,スパースオートエンコーダなど,様々なメカニスティック解釈可能性技術を適用して,このギャップを解消する。 我々は,個々の注意点と時間経過の因果的役割を体系的に調査し,これらのモデル内の因果的構造を明らかにする。 ベンチマーク時系列データセットを用いた実験により、情報がどのように内部で伝播するかを示す因果グラフを構築し、重要な注意点と正しい分類を駆動する時間的位置を強調した。 さらに,解釈可能な潜在機能を明らかにするためのスパースオートエンコーダの可能性を示す。 本研究は,トランスフォーマーの解釈可能性に対する方法論的貢献と,時系列分類タスクにおけるトランスフォーマー性能の基礎となる機能力学に関する新たな知見を提供する。

関連論文リスト

• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• The Birth of Knowledge: Emergent Features across Time, Space, and Scale in Large Language Models [3.541570601342306]
  本稿では,大言語モデル(LLM)における解釈可能な分類的特徴の出現について検討する。 機械的解釈にスパースオートエンコーダを用いることで、ニューラルアクティベーション内で特定の意味概念がいつどこで現れるかを特定する。
  論文  参考訳（メタデータ） (2025-05-26T02:59:54Z)
• Enhancing Time Series Forecasting with Fuzzy Attention-Integrated Transformers [4.580983642743026]
  FANTF (Fuzzy Attention Network-Based Transformers) はファジィ論理と既存のトランスアーキテクチャを統合する新しいアプローチである。 このフレームワークはファジィ強化された注意と既存のトランスフォーマーベースのアーキテクチャのベンチマークを組み合わせることで、効率的な予測、分類、異常検出を提供する。 いくつかの実世界のデータセットに対する実験的評価により、FANTFは予測、分類、異常検出タスクのパフォーマンスを著しく向上させることが明らかになった。
  論文  参考訳（メタデータ） (2025-03-31T17:33:50Z)
• VSFormer: Value and Shape-Aware Transformer with Prior-Enhanced Self-Attention for Multivariate Time Series Classification [47.92529531621406]
  識別パターン(形状)と数値情報(値)の両方を組み込んだVSFormerを提案する。 さらに、教師付き情報から派生したクラス固有の事前情報を抽出し、位置エンコーディングを強化する。 30のUEAアーカイブデータセットに対する大規模な実験は、SOTAモデルと比較して、我々の手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-21T07:31:22Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Generating Sparse Counterfactual Explanations For Multivariate Time Series [0.5161531917413706]
  多変量時系列に対するSPARse Counterfactual Explanationsを生成するGANアーキテクチャを提案する。 提案手法は, トラジェクトリの類似性, 疎性, 滑らか性の観点から, 対実損失関数を正規化する。 我々は,実世界の人間の動作データセットと合成時系列解釈可能性ベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-06-02T08:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。