論文の概要: Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2609.24440v1
- Date: Mon, 21 Sep 2026 11:35:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.268259
- Title: Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダを用いた状態空間モデルと変圧器の潜在概念形成の比較
- Abstract要約: Transformerセルフアテンションの二次スケーリングにより、Mambaのようなサブクワッドラティック選択状態空間モデル(SSM)が採用されている。
SSMとTransformerは根本的に異なる潜在表現を学習するのか?
我々はスパースオートエンコーダを用いて,100万トークンコーパス上で,Mamba-130mとPythia-70mの大規模・機能レベルの対応解析を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The quadratic scaling of Transformer self-attention has driven the adoption of sub-quadratic Selective State Space Models (SSMs) like Mamba, which compress past context into a fixed-size recurrent hidden state. This strict informational bottleneck raises a foundational question for mechanistic interpretability: do SSMs and Transformers learn fundamentally distinct latent representations? In this work, we employ Sparse Autoencoders (SAEs) to conduct a large-scale, feature-level correspondence analysis between Mamba-130m and Pythia-70m over a 10-million token corpus. Contrary to hypotheses predicting widespread architectural divergence, we find no evidence of systematic representational divergence between architectures: across the observed Jaccard distribution, 99.98% of Mamba features cluster toward the upper alignment boundary, providing preliminary feature-level support for the Universality Hypothesis. We further identify and qualitatively characterize this microscopic fraction (0.02%) of diverging features, finding patterns consistent with the hypothesis that the recurrent bottleneck selectively limits the parsing of rigid syntax rather than broad semantic ontology. We demonstrate that while Pythia's unconstrained attention permits the monosemantic decomposition of distinct formatting edge-cases, Mamba is forced to compress unrelated syntactical anomalies into polysemantic "junk drawer" neurons to preserve state capacity. Collectively, these results suggest that architectural routing mechanisms may have negligible impact on core semantic understanding, with representational divergence confined to extreme structural margins.
- Abstract（参考訳）: トランスフォーマーの自己アテンションの二次的スケーリングは、過去のコンテキストを固定サイズのリカレントな隠れ状態に圧縮するMambaのようなサブクワッド・セレクティブ・ステート・スペース・モデル(SSM)の採用を促した。
この厳密な情報ボトルネックは、機械的解釈可能性に関する根本的な疑問を提起する。
本研究では,Sparse Autoencoders (SAE) を用いて,100万トークンコーパス上でのMamba-130mとPythia-70mの大規模・機能レベルの対応解析を行う。
広範なアーキテクチャのばらつきを予測する仮説とは対照的に、アーキテクチャ間の体系的な表現のばらつきの証拠は見つからない: 観測されたジャカード分布の99.98%のマンバ特徴群は上部アライメント境界に向かってクラスタ化され、普遍性仮説に対する予備的な特徴レベルのサポートを提供する。
さらに,この微妙な特徴分画(0.02%)を定量的に同定し,再帰的ボトルネックが広義意味オントロジーよりも厳密な構文解析を選択的に制限するという仮説に一致するパターンを見出した。
我々は、Pythiaの制約のない注意は、異なるフォーマットのエッジケースの単意味的な分解を可能にするが、Mambaは、状態容量を維持するために、関係のない構文上の異常をポリセマンティックな「ジャンクドローアー」ニューロンに圧縮せざるを得ないことを示した。
これらの結果は、構造的ルーティング機構が、極端に構造的マージンに制限された表現的ばらつきを伴って、中核的なセマンティック理解に無視できる影響があることを示唆している。
関連論文リスト
- A Multi-Branch Feature Fusion Approach for Health Misinformation Detection and Propagation [0.0]
本稿では,オンラインソーシャルネットワーク(OSN)における健康情報の伝播を検知し,特徴付けるマルチブランチ融合フレームワークを提案する。
このフレームワークは、トランスフォーマーに基づくセマンティクスを、修辞的な手がかり、姿勢表現、心理的動機付けられたプロキシと融合させる。
Constraint、COVID--19_FNIR、Monkeypoxの3つのベンチマークデータセットの実験は、強力な分類性能を示している。
論文 参考訳（メタデータ） (2026-08-31T21:36:43Z) - AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis [57.942670844512016]
我々はAdaSurvMambaをマルチモーダルサバイバル分析の新しい適応フレームワークとして紹介する。
このフレームワークは、クロスモーダル相互作用強度を動的に変調するDual-Scale Importance-Aware Reconstruction (DSIR)モジュールを備えている。
5つのTCGAコホートに対する実験は、既存の方法よりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-28T11:36:31Z) - MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。
MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。
HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
論文 参考訳（メタデータ） (2026-06-22T10:14:06Z) - Spatial-Aware Reduction Framework: Towards Efficient and Faithful Visual State Space Models [71.59431204970339]
STORMは空間対応のトークン還元フレームワークである。
空間単位上の構造演算に還元を再構成する。
様々なビジョンのMambaバックボーンにまたがって最先端のプルーニング精度を実現する。
論文 参考訳（メタデータ） (2026-06-18T08:31:11Z) - MambaCount: Efficient Text-guided Open-vocabulary Object Counting with Spatial Sparse State Space Duality Block [8.77642380677869]
Text-guided Open-vocabulary Object Counting (TOOC) は、テキストプロンプトによって記述されるオブジェクトの数を推定することを目的としている。
Mambaは線形複雑性のために有望な代替手段を提供する。
MambaCountは空間スパース状態空間双対(S4D)ブロック上に構築された効率的なフレームワークである。
論文 参考訳（メタデータ） (2026-06-16T08:11:58Z) - Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。
このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
論文 参考訳（メタデータ） (2026-06-01T18:28:56Z) - Asymptotic Semantic Collapse in Hierarchical Optimization [0.5729426778193398]
マルチエージェント言語システムは、共有された支配的コンテキストが個々の意味論を徐々に吸収する障害モードを示すことができる。
階層最適化における漸近的セマンティック崩壊(Asymptotic Semantic Collapse in Hierarchical Optimization)という名でこの効果を研究する。
我々は、周辺エージェントノードとの繰り返しの相互作用が、グローバルな損失を最小限に抑えるアライメントを駆動していることを示す。
論文 参考訳（メタデータ） (2026-02-01T00:02:01Z) - TaxoBell: Gaussian Box Embeddings for Self-Supervised Taxonomy Expansion [25.5809347473818]
分類学は様々な領域にまたがる構造化知識表現のバックボーンを形成する。
既存の自動手法は点ベースのベクトル埋め込みに依存している。
Boxの埋め込みは、封じ込めと不整合を可能にすることで、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-01-14T17:08:37Z) - Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes [60.75226150503949]
本稿では,解答埋め込みの幾何学的構造を解析し,意味的不確実性を定量化するベイズ的枠組みを提案する。
S GPUは、生成した回答を密接なセマンティック空間にマッピングし、セマンティック埋め込みのグラム行列を計算し、セマンティック構成を要約する。
我々は,SGPUがモデルとモダリティをまたいで転送されることを示し,そのスペクトル表現が意味的不確実性の一般的なパターンを捉えていることを示す。
論文 参考訳（メタデータ） (2025-12-16T08:15:24Z) - Gather-Scatter Mamba: Accelerating Propagation with Efficient State Space Model [15.551773379039675]
ステート・スペース・モデル(SSM)は歴史的にシーケンシャル・モデリングにおいて中心的な役割を果たしてきた。
Mambaのような選択型SSMの最近の進歩は、魅力的な代替手段を提供する。
本研究では,空間的コンテキストアグリゲーションのためのシフトウィンドウ自己アテンションと,効率的な時間的伝搬のためのマンバ型選択走査を組み合わせたハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-10-01T13:11:13Z) - Achilles' Heel of Mamba: Essential difficulties of the Mamba architecture demonstrated by synthetic data [52.07689534063587]
ステートスペースモデル(SSM)は、アテンションメカニズムに代わる有望な代替手段として登場した。
本研究では,マンバ固有の制約を明らかにするために,慎重に設計された合成タスクを用いる。
論文 参考訳（メタデータ） (2025-09-22T08:38:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。