論文の概要: Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

• arxiv url: http://arxiv.org/abs/2605.08740v1
• Date: Sat, 09 May 2026 07:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.851032
• Title: Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure
• Title（参考訳）: 変圧器表現の因果次元:測定・スケーリング・層構造
• Abstract要約: 因果次元 Kappa(L, M, T) は、層 L において期待されるヤコビアン外積の有効ランクとして定義される。 16,384から1,048,576までの7つのSAE幅がGemma-2-2B層12上にあり、表現能力は15.6倍、因果能力は4.35倍である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) decompose transformer residual streams into interpretable feature dictionaries, yet the relationship between SAE width and causal influence on model output has not been systematically characterised. We introduce causal dimensionality kappa(L, M, T), defined as the effective rank of the expected Jacobian outer product at layer L, and show it can be estimated via the SAE width sweep paired with attribution patching. Across seven SAE widths from 16,384 to 1,048,576 features on Gemma-2-2B layer 12, representational capacity grows 15.6x while causal capacity grows only 4.35x: a robust separation we term the representational-causal wedge. A saturating fit yields kappa-hat approximately 1,990 with kappa-hat / d_model = 0.86 and participation-ratio lower bound kappa_PR approximately 280. Crucially, kappa is invariant to model scaling: Gemma-2-9B and Gemma-2-2B yield identical N_causal = 328 at the same SAE width despite a 3.46x parameter increase (the count is forced to 2% of SAE width by calibration; the substantive empirical claim is shape invariance of the AtP score distribution under matched seq=512 conditions). Across eight network depths kappa is constant while the absolute attribution threshold drops 20x from layer 1 to layer 23. Five controls (architecture invariance, threshold robustness, geometric privilege, synthetic ground-truth recovery, and a four-cell encoder/decoder ablation) pin down what kappa measures and what it does not. Our findings establish kappa as a measurable, model-intrinsic property of transformer layers: sub-linearly recoverable by SAE width, invariant to model scaling, and structured across network depth.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)はトランスフォーマー残ストリームを解釈可能な特徴辞書に分解するが、SAE幅とモデル出力に対する因果関係は体系的に特徴づけられていない。 本稿では, L層で期待されるヤコビ外部積の有効ランクとして定義される因果次元カッパ(L, M, T)を導入し, 帰属パッチと組み合わせたSAE幅スイープを用いて推定可能であることを示す。 16,384から1,048,576までの7つのSAE幅のGemma-2-2B層では、表現能力は15.6倍、因果能力は4.35倍に成長する。 飽和フィットは、カッパハト/d_model = 0.86で約1,990、参加比下限のカッパハト=約280となる。 Gemma-2-9B と Gemma-2-2B は、3.46倍のパラメータ増加にもかかわらず同一の N_causal = 328 を同じ SAE 幅で生成する(カウントはキャリブレーションにより SAE 幅の2%に強制される。 絶対帰属閾値が層1から層23に20倍低下する間、8つのネットワーク深さカッパが一定となる。 5つの制御(アーキテクチャ不変性、しきい値の堅牢性、幾何的特権、合成地下構造回復、および4セルエンコーダ/デコーダアブレーション)は、カッパが何を測り、何をしないのかをピン留めする。 以上の結果から, カッパはSAE幅でサブ線形に復元可能であり, モデルスケーリングに不変であり, ネットワーク深度にまたがる構造であることがわかった。

関連論文リスト

• Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
  本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。 この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
  論文  参考訳（メタデータ） (2026-09-08T06:21:44Z)
• LegoLM: Structured Weight Sharing for Large Language Models [0.0]
  大規模言語モデルのための構造付き重み共有圧縮フレームワークであるLegoLMを提案する。 LegoLMは2つの障害モードを解決している。 GPT-2 の小型(124M) と Mistral-7B 全体で、LegoLM は Mistral-7B 上の 4.41X 圧縮で +0.03% PPL の劣化を達成する。
  論文  参考訳（メタデータ） (2026-08-09T11:51:14Z)
• Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
  すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
  論文  参考訳（メタデータ） (2026-07-16T06:47:52Z)
• From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness [0.0]
  スパースオートエンコーダ(SAE)は、重畳された神経表現を解釈可能な特徴に分解する標準である。 これはデコーダ・ジオメトリーアライメントとエンコーダ・アクティベーションの2つの異なるクレームを示す。 本手法は,決定論的パイプラインを持つモデル非依存の楽器であるsae-causal-auditとしてパッケージ化する。
  論文  参考訳（メタデータ） (2026-07-13T21:18:52Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Normalized Architectures are Natively 4-Bit [49.13186675123547]
  重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。 本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
  論文  参考訳（メタデータ） (2026-05-07T11:54:07Z)
• Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.3384279376065155]
  大きな言語モデルアンサンブルは、パフォーマンス境界までの推論精度を改善する。 DASE(Deliberative Adaptive Stopping Ensemble)は、真のコンセンサスを早期にコミットし、断片化された証拠にグローバル周波数のフォールバックを適用するアンサンブルである。
  論文  参考訳（メタデータ） (2026-05-05T19:24:10Z)
• Gated Subspace Inference for Transformer Acceleration [0.0]
  変圧器言語モデルにおける推論の高速化のための方法が提示される。 この方法は、各アクティベーションベクトルをサブスペース成分と残留成分に分解する。 サブスペースコンポーネント上の線形層出力をキャッシュされた低ランク重み画像を介してメモリ帯域幅を小さくする。
  論文  参考訳（メタデータ） (2026-05-04T19:48:40Z)
• Visual Implicit Autoregressive Modeling [42.343328817507505]
  我々は、浅いプレ/ポストブロック間に暗黙の平衡層を埋め込んだ次世代の自己回帰生成器であるVisual Implicit Autoregressive Modeling (VIAR)を紹介する。 VIARはImageNet 256x256ベンチマークでFID 2.16とsFID 8.07を達成した。 スケール毎のノブを制御することで、VIARはピークメモリを19.24GBから8.53GBに削減し、スループットを2倍にする。
  論文  参考訳（メタデータ） (2026-05-02T03:23:17Z)
• Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales [0.0]
  スペクトル圧縮,ブロックレベル関数置換,回転ベース量子化,アクティベーション幾何,適応早期出口について検討した。 圧縮に関連する5つの構造特性を同定する。
  論文  参考訳（メタデータ） (2026-04-22T15:31:46Z)
• Hierarchical Kernel Transformer: Multi-Scale Attention with an Information-Theoretic Approximation Analysis [0.0]
  階層カーネル変換器(Hierarchical Kernel Transformer, HKT)は、訓練可能な因果ダウンサンプリングを通じてL解像度レベルでシーケンスを処理するマルチスケールアテンション機構である。 全計算コストは標準注意の4/3倍に制限され、L = 3 に対して 1.3125x に達する。
  論文  参考訳（メタデータ） (2026-04-10T00:00:11Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer [49.1761733723771]
  本稿では,テキスト・画像生成における効率的なスケーリングを実現する線形拡散変換器であるSANA-1.5を提案する。 効率的なトレーニングスケーリング、モデルの深さ決定、推論時間スケーリングの3つの重要なイノベーションを紹介します。 これらの戦略により、SANA-1.5 は GenEval 上のテキスト計算画像アライメントスコア 0.81 を達成し、VILA-Judge による推論スケーリングにより、さらに 0.96 に改善できる。
  論文  参考訳（メタデータ） (2025-01-30T15:31:48Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit [38.89510345229949]
  本研究では、無限深度と幅の比例極限におけるスキップ接続を持つ修正Softmaxベースのアテンションモデルの共分散行列について検討する。 適切に定義された限界を達成するため、Transformerのアテンション機構は、Softmax出力をアイデンティティに集中させることで変更される。 シミュレーションにより、深さと幅の比で指数付けされた微分方程式(SDE)が、対応する有限サイズモデルの驚くほど良い記述を提供することを示した。
  論文  参考訳（メタデータ） (2023-06-30T16:10:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。