論文の概要: Deep Latents, Long Memory: Latent persistence explains temporal correlations in transformer activations
- arxiv url: http://arxiv.org/abs/2611.18089v1
- Date: Fri, 13 Nov 2026 12:14:17 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:17.916205
- Title: Deep Latents, Long Memory: Latent persistence explains temporal correlations in transformer activations
- Title(参考訳): 深部潜時記憶:潜時持続性は変圧器活性化における時間的相関を説明する
- Abstract要約: シーケンスの相関は、それを生成したプロセスの構造を反映する、という原理に基づいて構築する。
文脈に沿って永続的に符号化された潜伏変数は、自己相関においてゆっくりと崩壊する尾を生じる。
階層的潜伏構造を制御した合成データでは、この成長は抽象潜伏変数の符号化に由来する。
- 参考スコア(独自算出の注目度): 5.099189832592125
- License:
- Abstract: The hidden layers of Large Language Models (LLMs) are believed to encode representations of the data whose abstraction increases with depth. However, in the absence of an operational notion of abstraction, this statement is hard to test quantitatively. Here, we propose an alternative view, building on the principle that the correlations of a sequence reflect the structure of the process that generated it. We define the autocorrelation function of a layer as the average dot product between its activations at two context positions separated by a lag. Latent variables encoded persistently along the context create slowly decaying tails in the autocorrelation, and we find these tails to grow across layers in both synthetic and natural data. In synthetic data with controlled hierarchical latent structure, this growth stems from the encoding of abstract latent variables, which govern long stretches of the input. Indeed, the persistence of latent codes predicts the qualitative structure of autocorrelations and accounts for most of the empirical measures. In real text, we take sparse-autoencoder features as proxies for latent variables, and find that their persistence correlates strongly with the magnitude of autocorrelations across datasets and LLMs. In particular, the persistence time increases with depth, as do autocorrelations, implying that deeper latent features persist for longer context spans. We complement this analysis by explicitly ablating the persistent sparse-autoencoder features and observing a consequent decrease in the autocorrelations.
- Abstract(参考訳): LLM(Large Language Models)の隠れレイヤは、抽象化が深みとともに増加するデータの表現をエンコードすると考えられている。
しかし、運用上の抽象概念が欠如しているため、このステートメントを定量的にテストすることは困難である。
本稿では,シーケンスの相関が生成したプロセスの構造を反映する,という原理に基づく,別の見方を提案する。
階層の自己相関関数を,ラグによって分離された2つの文脈位置におけるアクティベーション間の平均点積として定義する。
文脈に沿って永続的に符号化された潜伏変数は、自己相関においてゆっくりと崩壊する尾を生じさせ、これらの尾は合成データと自然データの両方の層にまたがって成長する。
階層的潜在構造を制御した合成データでは、この成長は、入力の長い伸長を管理する抽象潜在変数の符号化に由来する。
実際、潜伏符号の持続性は自己相関の定性的構造を予測し、経験的測度の大部分を説明できる。
実文では、スパースオートエンコーダの機能を潜在変数のプロキシとして捉え、その持続性はデータセットやLLM間の自己相関の大きさと強く相関している。
特に、自動相関のように永続時間は深さとともに増加し、より深い潜在機能が長いコンテキストで持続することを意味する。
我々はこの解析を,永続的なスパース・オートエンコーダの特徴を明示的に強調し,その結果の自己相関の減少を観察することによって補完する。
関連論文リスト
- Do Agents Think Deeper? A Mechanistic Investigation of Layer-Wise Dynamics in Sequential Planning [6.5668779922726666]
大規模言語モデル(LLM)は、標準のシングルターンタスクでは、その深さを非効率に利用することができる。
エージェント推論は静的タスクとは異なる深度プロファイルを示すことを示す。
論文 参考訳(メタデータ) (2026-05-27T04:08:08Z) - Learning with Shallow Neural Networks on Cluster-Structured Features [13.080485957000464]
浅層ニューラルネットワーク上での勾配降下学習における空間的相関が学習の複雑さに与える影響について検討した。
階層的に勾配差が変化する変種の場合、サンプルの複雑さは隠れ変数の数とともにスケールすることを示す。
合成データと実データの両方で理論的知見を実証的に検証する。
論文 参考訳(メタデータ) (2026-05-14T15:02:24Z) - Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。
畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。
その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
論文 参考訳(メタデータ) (2026-01-18T16:16:01Z) - Towards Infinite Length Extrapolation: A Unified Approach [0.0]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、長いシーケンスを処理する能力は、訓練中のコンテキストウィンドウサイズによって根本的に制限されている。
我々は、注目スコアを乗法変換と加法バイアスに分解するものとして、位置符号化手法を再解釈する統一的なフレームワークを使用する。
我々の理論的解析は、無限コンテキスト外挿条件を確立し、ソフトマックスハンドリングが、長距離相関、エントロピー境界性、勾配位置感度を保ちながら、非有界列に対して適切に定義されていることを保証している。
論文 参考訳(メタデータ) (2026-01-03T14:10:23Z) - Towards Identifiability of Hierarchical Temporal Causal Representation Learning [37.974090366909586]
因果的階層的潜在動的(CHiLD)識別フレームワークを提案する。
各層内の潜伏変数を識別するために、潜伏変数間の階層構造が自然に分散していることを利用する。
このモデルは、コンテキストエンコーダを組み込んで、多層潜在変数を再構成し、フローベースの階層的事前ネットワークを正規化する。
論文 参考訳(メタデータ) (2025-10-21T05:40:17Z) - Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。
位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
論文 参考訳(メタデータ) (2025-06-18T17:59:35Z) - On the Identification of Temporally Causal Representation with Instantaneous Dependence [50.14432597910128]
時間的因果表現学習は時系列観測から潜在因果過程を特定することを目的としている。
ほとんどの方法は、潜在因果過程が即時関係を持たないという仮定を必要とする。
我々は,インスタントtextbfOus textbfLatent dynamics のための textbfIDentification フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-24T08:08:05Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳(メタデータ) (2023-01-02T06:16:56Z) - Interventional Causal Representation Learning [75.18055152115586]
因果表現学習は、低レベルの感覚データから高レベルの潜伏因子を抽出しようとする。
介入データは因果表現学習を促進するか?
介入データは、しばしば潜伏因子の支援の幾何学的シグネチャを持つことを示す。
論文 参考訳(メタデータ) (2022-09-24T04:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。