論文の概要: What Does Layer-Importance Reveal About Transformers and State-Space Models?

• arxiv url: http://arxiv.org/abs/2609.16537v1
• Date: Tue, 15 Sep 2026 02:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.307819
• Title: What Does Layer-Importance Reveal About Transformers and State-Space Models?
• Title（参考訳）: トランスフォーマーと状態空間モデルについて、レイヤー重要度は何か?
• Abstract要約: 層の重要性を2つの異なる概念に分解する。 評価された残留変圧器は最大14ドルBのパラメータで、必要度と塑性は深さに反するが、評価されたマンバスタイルのSSMでは重なり合う領域を指している。 評価された変圧器では、最もプラスチック層が集中した更新は破滅的な忘れを増すが、この層依存効果は、評価されたマンバ型SSMでは消失する。
• 参考スコア（独自算出の注目度）: 27.103840607246685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers and state-space models (SSMs) are the two dominant families of sequence models, and a central open question is how far the analytical knowledge built for transformers transfers to SSMs. We address this through the lens of layer importance which underpins compression, selective fine-tuning, and interpretability across both families. We decompose layer importance into two distinct notions. \emph{Necessity} captures how much the pretrained model depends on a layer's existing contribution, measured by the loss increase from bypassing it. \emph{Plasticity} captures where the model absorbs new information during fine-tuning, measured by the magnitude of task-specific weight updates. Our analysis reveals that the two families behave fundamentally differently: in every evaluated residual transformer up to $14$B parameters, Necessity and Plasticity anti-align across depth, whereas in the evaluated Mamba-style SSMs they point to overlapping regions. The sign of this alignment also predicts downstream adaptation behavior. In the evaluated transformers, concentrating updates in the most plastic layers increases catastrophic forgetting, while this tier-dependent effect disappears in the evaluated Mamba-style SSMs.
• Abstract（参考訳）: トランスフォーマーと状態空間モデル(SSM)は、シーケンスモデルの2つの支配的なファミリーであり、トランスフォーマーに構築された解析的知識がSSMにどの程度移行するかが中心的な疑問である。 これは、圧縮、選択的な微調整、および両ファミリー間の解釈可能性を支える重要な層レンズを通して解決する。 層の重要性を2つの異なる概念に分解する。 \emph{Necessity} は、事前トレーニングされたモデルが、それをバイパスすることで損失の増加によって測定された、レイヤの既存のコントリビューションにどれだけ依存しているかをキャプチャする。 \emph{Plasticity}は、タスク固有の重み付けの規模によって測定された微調整中に、モデルが新しい情報を吸収する場所をキャプチャする。 評価された残留変圧器は最大14ドルBまで, 必要度と塑性度は深さに反するが, 評価されたマンバスタイルのSSMでは重複する領域を指している。 このアライメントの兆候は下流適応の挙動も予測する。 評価された変圧器では,最もプラスチック層を集中的に更新すると破滅的忘れが増すが,この層依存性効果は評価されたマンバ型SSMでは消失する。

関連論文リスト

• Representational Depth of Evaluation Awareness Shifts With Scale in Open-Weight Language Models [0.0]
  評価コンテキストを認識するモデルは、その振る舞いを戦略的に変化させ、下流のベンチマークを解釈しにくくする。 Qwen 2.5, Gemma 2, およびLlama 3.2にまたがる11のモデルを用いて、表現深さの体系的な大きさ依存的なシフトを求める。 このことは,評価意識の強さだけでなく,ネットワーク上で最も線形に回復可能な場所でのスケール変化を示唆している。
  論文  参考訳（メタデータ） (2026-06-28T04:48:17Z)
• Tapered Language Models [17.586289013051864]
  エビデンスによれば、層は最終的な出力に不均一に寄与し、後にそれを変換するのではなく、残基を精製する。 我々の制御された実験は、固定された予算の下で、以前の層により多くのキャパシティを割り当て、後で層を減らせば均一幅のベースライン上でのパープレキシティが向上し、逆アロケーションが悪くなることを示している。
  論文  参考訳（メタデータ） (2026-06-22T17:56:25Z)
• Revisiting associative recall in modern recurrent models [17.2249234816671]
  本稿では,現代の反復モデルの性能において,学習率の選択が重要な役割を担っていることを示す。 次に1層変圧器を検査し、その性能が劣っているにもかかわらず、トレーニングダイナミクスが驚くほど誘導ヘッドの形成に類似していることを明らかにする。
  論文  参考訳（メタデータ） (2025-08-26T13:45:08Z)
• Spectral Insights into Data-Oblivious Critical Layers in Large Language Models [7.486925126518052]
  我々は,事前調整言語モデルにおいて,本質的な臨界層を特定するためのデータ公開アプローチを提案する。 表現空間が著しく変化する層も微調整時に最も影響を受ける層であることを示す。
  論文  参考訳（メタデータ） (2025-05-31T04:21:39Z)
• Diversity of Transformer Layers: One Aspect of Parameter Scaling Laws [42.926341529639274]
  トランスフォーマーは、幅広いタスクにわたって優れたパフォーマンスを提供します。 タスク解決性能はパラメータサイズの増加によって向上する。 本研究では,トランスフォーマーのパラメータサイズを決定するレイヤとそのサイズに着目した。
  論文  参考訳（メタデータ） (2025-05-29T21:13:31Z)
• Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis [97.54180451650122]
  本研究では,2つの単語の共起を認識するタスクにおいて,浅層変圧器を訓練するダイナミクスについて検討する。 我々は3つの注意行列と線形層を同時に学習する勾配流れのダイナミクスを解析した。 本研究では, 傾斜流の新たな特性として, 勾配のテクトリアルバランスを証明し, 異なる試料の損失値をほぼ同じ速度で減少させ, さらに, ほぼ最小限のトレーニング損失の証明を容易にする。
  論文  参考訳（メタデータ） (2024-10-12T17:50:58Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
  このデータセットをRIVAL10と呼びます。 本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。 本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
  論文  参考訳（メタデータ） (2022-01-26T06:31:28Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。