論文の概要: CAST: Compositional Analysis via Spectral Tracking for Understanding Transformer Layer Functions

• arxiv url: http://arxiv.org/abs/2510.14262v1
• Date: Thu, 16 Oct 2025 03:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.702999
• Title: CAST: Compositional Analysis via Spectral Tracking for Understanding Transformer Layer Functions
• Title（参考訳）: CAST: 変圧器層関数理解のためのスペクトル追跡による構成解析
• Authors: Zihao Fu, Ming Liao, Chris Russell, Zhenguang G. Cai,
• Abstract要約: CAST(Compositional Analysis via Spectral Tracking)は、トランスフォーマー層関数を解析することによって、新しい視点に寄与するプローブフリーフレームワークである。 解析の結果,エンコーダのみのモデルとデコーダのみのモデルでは,デコーダモデルは圧縮・膨張サイクルを示し,エンコーダモデルは一貫したハイランク処理を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 9.941868776410148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have achieved remarkable success but remain largely black boxes with poorly understood internal mechanisms. To address this limitation, many researchers have proposed various interpretability methods including mechanistic analysis, probing classifiers, and activation visualization, each providing valuable insights from different perspectives. Building upon this rich landscape of complementary approaches, we introduce CAST (Compositional Analysis via Spectral Tracking), a probe-free framework that contributes a novel perspective by analyzing transformer layer functions through direct transformation matrix estimation and comprehensive spectral analysis. CAST offers complementary insights to existing methods by estimating the realized transformation matrices for each layer using Moore-Penrose pseudoinverse and applying spectral analysis with six interpretable metrics characterizing layer behavior. Our analysis reveals distinct behaviors between encoder-only and decoder-only models, with decoder models exhibiting compression-expansion cycles while encoder models maintain consistent high-rank processing. Kernel analysis further demonstrates functional relationship patterns between layers, with CKA similarity matrices clearly partitioning layers into three phases: feature extraction, compression, and specialization.
• Abstract（参考訳）: 大規模な言語モデルは目覚ましい成功を収めたが、ほとんどはブラックボックスであり、内部メカニズムはよく分かっていない。 この制限に対処するため、多くの研究者が機械解析、探索分類器、活性化可視化など様々な解釈可能性手法を提案し、それぞれ異なる視点から貴重な洞察を提供している。 CAST(Compositional Analysis via Spectral Tracking)は、直接変換行列推定と包括的スペクトル解析によってトランスフォーマー層関数を解析することにより、新しい視点に寄与するプローブフリーフレームワークである。 CASTは、ムーア-ペンローズ擬似逆数を用いて各層に対して実現された変換行列を推定し、6つの解釈可能なメトリクスによるスペクトル分析を適用することで、既存の手法に補完的な洞察を提供する。 解析の結果,エンコーダのみのモデルとデコーダのみのモデルでは,デコーダモデルは圧縮・膨張サイクルを示し,エンコーダモデルは一貫したハイランク処理を維持していることがわかった。 カーネル分析はさらに、CKA類似度行列が明確にレイヤを3つのフェーズ(特徴抽出、圧縮、特殊化)に分割することで、レイヤ間の機能的関係パターンを実証している。

関連論文リスト

• DiffSpectra: Molecular Structure Elucidation from Spectra using Diffusion Models [66.41802970528133]
  スペクトルからの分子構造解明は化学の基礎的な問題である。 従来の手法は専門家の解釈に大きく依存し、拡張性に欠ける。 マルチモーダルスペクトルデータから2次元および3次元分子構造を直接推定する生成フレームワークであるDiffSpectraを提案する。
  論文  参考訳（メタデータ） (2025-07-09T13:57:20Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification [3.271106943956333]
  超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。 ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
  論文  参考訳（メタデータ） (2024-12-23T07:21:41Z)
• Hyperspectral Image Spectral-Spatial Feature Extraction via Tensor Principal Component Analysis [41.71615165526371]
  本稿では,ハイパースペクトル画像分類におけるスペクトル空間特徴抽出の課題について述べる。 提案手法では、円形の畳み込みをテンソル構造に組み込んで、スペクトル情報と空間情報の両方を効果的に捕捉・統合する。 この枠組みに基づいて、従来の主成分分析(PCA)技術は、主成分分析(TPCA)と呼ばれるテンソルベースに拡張される。
  論文  参考訳（メタデータ） (2024-12-08T21:52:09Z)
• Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence [26.1694389791047]
  スペクトル超解像は、容易に取得可能なRGB画像からハイパースペクトル像(HSI)を復元することを目的としている。 既存のTransformerのボトルネックは2種類あり、パフォーマンスの改善と実用性に制限がある。 スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:30:07Z)
• Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations [15.59251297818324]
  本稿では,ニューラルネットワークのアクティベーションに含まれる情報をグループ化する手法を提案する。 すべてのレイヤの機能を利用して、モデルのどの部分が関連する情報を含んでいるのかを推測する必要をなくします。
  論文  参考訳（メタデータ） (2023-12-11T01:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。