論文の概要: Decompose Sparsely Where You Should, Absorb Densely Where You Should No

• arxiv url: http://arxiv.org/abs/2606.14040v1
• Date: Fri, 12 Jun 2026 02:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.717038
• Title: Decompose Sparsely Where You Should, Absorb Densely Where You Should No
• Title（参考訳）: 適当に分解する, やむを得ない場所を吸収する.
• Authors: Ruixuan Deng, Zehao Jin, Zekun Wang, Zihan Dong,
• Abstract要約: スパースオートエンコーダ(SAE)は、通常、スパース辞書を通してテクスベンター残流を再構築するために訓練される。 この仮定に疑問を呈し、アクティベーションが低ランクで高密度な成分を含んでいるという仮説を立てる。
• 参考スコア（独自算出の注目度）: 4.687417972972663
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sparse autoencoders (SAEs) are typically trained to reconstruct the \textbf{entire} residual stream through a sparse dictionary, implicitly assuming that all activation content is amenable to sparse, monosemantic decomposition. We question this assumption and hypothesize that activations contain a low-rank, dense component that is computationally important to the model yet inherently unsuitable for sparse representation, which serves as a major source of the persistent dense latents widely observed in trained SAEs. To test this, we add a small rank-$r$ linear bottleneck in parallel with standard SAEs (BatchTopK and Matryoshka), allowing dense structure to be absorbed before sparse reconstruction. On Gemma-2-2B layer 12, a rank-24 bottleneck reduces dense latent count by up to 84\% while improving sparse probing and targeted probe perturbation on both architectures at matched sparsity. The absorbed component is (i) \textbf{structurally identifiable} as the top principal components and outlier dimensions; (ii) \textbf{causally necessary}, with removing it raising next-token cross-entropy by 7.5$\times$, far exceeding the 2.8$\times$ from removing the geometrically near-identical top-24 PCA directions; and (iii) \textbf{redundantly encoded by sparse dictionaries}, with ablating 787 maximally aligned sparse features raising cross-entropy by only 2.9$\times$ and ablating 2,048 topic-aligned features leaving MMLU topic classification virtually unchanged, whereas removing the scaffold drops it from 98.7\% to chance. Together, our findings identify a compact, semantically informative and causally important component of residual stream activations (which we term a \textbf{computational scaffold}) that standard sparse dictionaries represent inefficiently, suggesting that the scope of sparsity-based interpretability methods warrants careful re-examination.
• Abstract（参考訳）: スパースオートエンコーダ(SAEs)は、通常、スパース辞書を通して、すべてのアクティベーション内容がスパース、モノセマンティック分解に対処可能であることを暗黙的に仮定して、textbf{entire}残ストリームを再構築するために訓練される。 我々はこの仮定を疑問視し、アクティベーションが低ランクで高密度な成分を含んでいると仮定するが、これは本質的にスパース表現には不適であり、これは訓練されたSAEで広く見られる永続的な高密度な潜伏剤の主要な源である。 これをテストするために、標準的なSAE (BatchTopK と Matryoshka) と平行に小さなランク-$r$の線形ボトルネックを加え、疎再構築前に密集構造を吸収する。 Gemma-2-2B 層 12 では、ランク24 のボトルネックにより、密潜数 84 % まで減少し、スパースプローブの改善と、両アーキテクチャの一致した間隔でのターゲットプローブ摂動を改善した。 吸収成分は i) \textbf{structureurally identible} を最上位の主成分及び外接次元とする。 (ii) \textbf{causally required} 次トーケンクロスエントロピーを7.5$\times$で引き上げることで、幾何学的にほぼ同一に近いトップ24PCA方向の除去から2.8$\times$をはるかに超える。 (iii) \textbf{redundantly encodeed by sparse dictionaries}, ablating 787 maximally aligned sparse features up cross-entropy by only 2.9$\times$, ablating 2,048 topic-aligned features leave MMLU topic classification, while the scaffold drops it from 98.7\% to chance。 そこで本研究では, 正規のスパース辞書を非効率に表現する, 残ストリームアクティベーションのコンパクトで意味的かつ因果的に重要な要素を同定した。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
  Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。 Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
  論文  参考訳（メタデータ） (2026-05-26T02:48:34Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• Hierarchical Sparse Plus Low Rank Compression of LLM [2.4311207322523023]
  HSS圧縮(Hierarchical Sparse Plus Low-Rank compression, HSS)は, 最大磁度重みをスパース行列Sに除去する2段階のスキームである。 HSSはハードウェアフレンドリーであり、行列ベクトル乗算は1つのスパースと細い行列乗算に還元される。 LLaMA-7Bの実験では、自己アテンションプロジェクションのみを対象としていると、大きなメモリ節約が得られる。
  論文  参考訳（メタデータ） (2025-12-19T04:28:30Z)
• Unlocking the Address Book: Dissecting the Sparse Semantic Structure of LLM Key-Value Caches via Sparse Autoencoders [14.79653924723243]
  キーバリュー(KV)キャッシュは、長文大言語モデルにおける主要なメモリボトルネックである。 KVキャッシュを解釈可能なセマンティック原子に分解するフレームワークである textbfSTA-Attention' を提案する。
  論文  参考訳（メタデータ） (2025-12-11T11:23:50Z)
• Vec2Summ: Text Summarization via Probabilistic Sentence Embeddings [2.2029818765681086]
  Vec2Summはセマンティック埋め込み空間における1つの平均ベクトルを用いて文書コレクションを表現する。 生成言語モデルを用いて流動的な要約を再構築する。 Vec2Summは、局所的に焦点を絞った順序不変コーパスのためのコヒーレントなサマリーを生成する。
  論文  参考訳（メタデータ） (2025-08-09T15:31:02Z)
• Your Absorbing Discrete Diffusion Secretly Models the Bayesian Posterior [0.0]
  フォワード汚濁分布下での期待デノイザ出力が真の後部を回復することを示す。 我々は、K個の独立な分極パスを実行し、後続手段と分散の両方を集約する推論時アンサンブルを導入する。
  論文  参考訳（メタデータ） (2025-07-10T09:42:47Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Unsupervised Semantic Segmentation by Distilling Feature Correspondences [94.73675308961944]
  教師なしセマンティックセグメンテーション(unsupervised semantic segmentation)は、アノテーションなしで画像コーパス内の意味論的意味のあるカテゴリを発見し、ローカライズすることを目的としている。 STEGOは、教師なし特徴を高品質な個別のセマンティックラベルに蒸留する新しいフレームワークである。 STEGOは、CocoStuffとCityscapesの両課題において、先行技術よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-16T06:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。