論文の概要: CAST: Compositional Analysis via Spectral Tracking for Understanding Transformer Layer Functions

• arxiv url: http://arxiv.org/abs/2510.14262v1
• Date: Thu, 16 Oct 2025 03:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.702999
• Title: CAST: Compositional Analysis via Spectral Tracking for Understanding Transformer Layer Functions
• Title（参考訳）: CAST: 変圧器層関数理解のためのスペクトル追跡による構成解析
• Authors: Zihao Fu, Ming Liao, Chris Russell, Zhenguang G. Cai,
• Abstract要約: CAST(Compositional Analysis via Spectral Tracking)は、トランスフォーマー層関数を解析することによって、新しい視点に寄与するプローブフリーフレームワークである。 解析の結果,エンコーダのみのモデルとデコーダのみのモデルでは,デコーダモデルは圧縮・膨張サイクルを示し,エンコーダモデルは一貫したハイランク処理を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 9.941868776410148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have achieved remarkable success but remain largely black boxes with poorly understood internal mechanisms. To address this limitation, many researchers have proposed various interpretability methods including mechanistic analysis, probing classifiers, and activation visualization, each providing valuable insights from different perspectives. Building upon this rich landscape of complementary approaches, we introduce CAST (Compositional Analysis via Spectral Tracking), a probe-free framework that contributes a novel perspective by analyzing transformer layer functions through direct transformation matrix estimation and comprehensive spectral analysis. CAST offers complementary insights to existing methods by estimating the realized transformation matrices for each layer using Moore-Penrose pseudoinverse and applying spectral analysis with six interpretable metrics characterizing layer behavior. Our analysis reveals distinct behaviors between encoder-only and decoder-only models, with decoder models exhibiting compression-expansion cycles while encoder models maintain consistent high-rank processing. Kernel analysis further demonstrates functional relationship patterns between layers, with CKA similarity matrices clearly partitioning layers into three phases: feature extraction, compression, and specialization.
• Abstract（参考訳）: 大規模な言語モデルは目覚ましい成功を収めたが、ほとんどはブラックボックスであり、内部メカニズムはよく分かっていない。 この制限に対処するため、多くの研究者が機械解析、探索分類器、活性化可視化など様々な解釈可能性手法を提案し、それぞれ異なる視点から貴重な洞察を提供している。 CAST(Compositional Analysis via Spectral Tracking)は、直接変換行列推定と包括的スペクトル解析によってトランスフォーマー層関数を解析することにより、新しい視点に寄与するプローブフリーフレームワークである。 CASTは、ムーア-ペンローズ擬似逆数を用いて各層に対して実現された変換行列を推定し、6つの解釈可能なメトリクスによるスペクトル分析を適用することで、既存の手法に補完的な洞察を提供する。 解析の結果,エンコーダのみのモデルとデコーダのみのモデルでは,デコーダモデルは圧縮・膨張サイクルを示し,エンコーダモデルは一貫したハイランク処理を維持していることがわかった。 カーネル分析はさらに、CKA類似度行列が明確にレイヤを3つのフェーズ(特徴抽出、圧縮、特殊化)に分割することで、レイヤ間の機能的関係パターンを実証している。

関連論文リスト

• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Generative Modeling through Spectral Analysis of Koopman Operator [7.42980678703395]
  演算子-理論スペクトル分析と最適輸送を組み合わせた生成モデリングフレームワークであるKoopman Spectralstein Gradient Descent (KSWGD)を提案する。 我々は厳密な収束解析を提供し、この方法の確率的基礎を明らかにするファインマン・カック理論との関係を確立する。
  論文  参考訳（メタデータ） (2025-12-21T17:54:09Z)
• Intriguing Properties of Dynamic Sampling Networks [0.0]
  我々は「ウォーピング」と呼ぶ既存手法を一般化した新しい演算子の開発と解析を行う。 ウォープは動的サンプリングの最小限の実装を提供する。 これらのメカニズムは、畳み込みによって定義される伝統的な変換不変作用素とは全く異なる種類の作用素を表すことを示す。
  論文  参考訳（メタデータ） (2025-11-25T19:40:36Z)
• DiffSpectra: Molecular Structure Elucidation from Spectra using Diffusion Models [66.41802970528133]
  スペクトルからの分子構造解明は化学の基礎的な問題である。 従来の手法は専門家の解釈に大きく依存し、拡張性に欠ける。 マルチモーダルスペクトルデータから2次元および3次元分子構造を直接推定する生成フレームワークであるDiffSpectraを提案する。
  論文  参考訳（メタデータ） (2025-07-09T13:57:20Z)
• CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [69.02751635551724]
  スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。 スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。 本稿では,RGB,マルチスペクトル,ハイパースペクトル画像を用いたカメラ非依存表現学習モデルCARLを紹介する。
  論文  参考訳（メタデータ） (2025-04-27T13:06:40Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification [3.271106943956333]
  超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。 ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
  論文  参考訳（メタデータ） (2024-12-23T07:21:41Z)
• Hyperspectral Image Spectral-Spatial Feature Extraction via Tensor Principal Component Analysis [41.71615165526371]
  本稿では,ハイパースペクトル画像分類におけるスペクトル空間特徴抽出の課題について述べる。 提案手法では、円形の畳み込みをテンソル構造に組み込んで、スペクトル情報と空間情報の両方を効果的に捕捉・統合する。 この枠組みに基づいて、従来の主成分分析(PCA)技術は、主成分分析(TPCA)と呼ばれるテンソルベースに拡張される。
  論文  参考訳（メタデータ） (2024-12-08T21:52:09Z)
• Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence [26.1694389791047]
  スペクトル超解像は、容易に取得可能なRGB画像からハイパースペクトル像(HSI)を復元することを目的としている。 既存のTransformerのボトルネックは2種類あり、パフォーマンスの改善と実用性に制限がある。 スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:30:07Z)
• Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations [15.59251297818324]
  本稿では,ニューラルネットワークのアクティベーションに含まれる情報をグループ化する手法を提案する。 すべてのレイヤの機能を利用して、モデルのどの部分が関連する情報を含んでいるのかを推測する必要をなくします。
  論文  参考訳（メタデータ） (2023-12-11T01:20:34Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。