論文の概要: The Residual Stream's Effective Depth

• arxiv url: http://arxiv.org/abs/2609.31098v1
• Date: Fri, 25 Sep 2026 10:36:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.339002
• Title: The Residual Stream's Effective Depth
• Title（参考訳）: 残留流の有効深さ
• Abstract要約: $Deff$は、トランスフォーマーの階層的残留ストリームを離散時間プロセスとして扱う診断である。 16のデフォルト値のうち15は$F_L$以下である。 OLMo-2の初期に確立され、5Tトークンを介して安定するが、Pythia-1.4Bは異なる減少軌道を辿る。
• 参考スコア（独自算出の注目度）: 10.776510686549338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce \emph{effective depth} ($\Deff$), a scalar diagnostic that treats the layer-wise residual stream of a transformer as a discrete-time process, measures how representation similarity decays with layer distance, and aggregates that profile into one number. Across sixteen decoder-only language models, $\Deff$ separates a structural consequence of residual accumulation from an empirical one: even maximally diverse orthogonal updates have the closed-form reference $F_L = 2L/(L+1)<2$, yet fifteen of sixteen default measurements lie below $F_L$ (Qwen3.5: 32--44\%, OLMo-2: 40--41\%, Pythia: 23--28\%). Matched references show that the gap is not caused by the persistent initial state or update-size imbalance, but is largely a calibrated signature of correlated residual updates rather than evidence that depth is unused. Symmetric position-0, token-normalisation, and top-PC controls show the regime is not reducible to BOS or top-PC artefacts: the lone above-reference default outlier joins the same regime, and all sixteen models are sub-reference after token-normalisation or top-1-PC removal. Intermediate checkpoints show that the regime is established early in OLMo-2 and stable through 5T tokens, while Pythia-1.4B follows a distinct decreasing trajectory. A controlled residual-carry intervention supports the mechanism, and $\Deff$ is best read as a \emph{global} accumulated-state diagnostic, not as a capability score or pruning method.
• Abstract（参考訳）: 我々は、変換器の層次残留ストリームを離散時間プロセスとして扱うスカラー診断である「emph{ Effective depth}」(\Deff$)を導入し、表現類似性がどのように層距離で崩壊するかを測定し、そのプロファイルを1つの数に集約する。 16のデコーダのみの言語モデル全体で、$\Deff$は、残余蓄積の構造的な結果と経験的な結果とを区別する: 最大に多様な直交更新でさえ、閉じた形式の参照を持つ$F_L = 2L/(L+1)<2$, しかし16のデフォルト測度のうち15は、$F_L$(Qwen3.5: 32-44\%, OLMo-2: 40-41\%, Pythia: 23-28\%, Pythia: 23-28\%)より下にある。 一致した参照は、このギャップは永続的な初期状態や更新サイズの不均衡によって生じるものではなく、深さが未使用であるという証拠ではなく、相関した残差更新の校正された署名であることを示している。 対称的な位置-0、トークン正規化、トップPCコントロールは、BOSやトップPCアーティファクトにレギュレーションが再現できないことを示している。 中間チェックポイントは、この構造がOLMo-2の早期に確立され、5Tトークンを介して安定していることを示し、Pythia-1.4Bは異なる減少軌道を辿っている。 制御された残留キャリアの介入がこのメカニズムをサポートし、$\Deff$は能力スコアやプルーニングメソッドではなく、蓄積状態の診断として最もよく読まれる。

関連論文リスト

• CORE-STACK+: Meta-Learning for Deep Stacked Generalization [0.0]
  スタックングヘテロジニアス視覚バックボーン(CNN、ViT、ハイブリッド)は、精度、校正、堅牢性のデファクトレシピである。 予測空間の多重コリンはメタラーナーのグラム行列を悪条件にし、重みの分散を膨らませ、薄い多様体上の脆い解を生成する。 ECEは、ホック後の温度スケーリングなしでディープアンサンブルよりも2.1タイムスで改善している。
  論文  参考訳（メタデータ） (2026-09-22T18:03:36Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• Spectral-Guided Diffusion: Accelerating Inference via Static Spectral Layer Scheduling [6.908972852063454]
  SCR/フロベニウスは、ランダム、深さ、ノルム、安定ランク、およびフロベニウスの安定ランクスケジュールよりも品質を保っていることを示す。 SCR/フロベニウスはレイヤーステップの予算で、ランダム、深さ、ノルム、安定なランク、安定なランクのスケジュールよりも品質を保っている。
  論文  参考訳（メタデータ） (2026-08-24T17:43:01Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• $\mathbfλ$-VAE: Variance Equalization for Posterior Collapse [0.0]
  変分オートエンコーダ(VAE)は、しばしば後方崩壊に悩まされる。 論理的に独立しているが結合した2つの原因を特定し定式化する。
  論文  参考訳（メタデータ） (2026-07-06T18:07:46Z)
• Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
  本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。 推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。 3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
  論文  参考訳（メタデータ） (2026-06-03T15:58:48Z)
• Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment [27.352639822596146]
  クロスワーカーの損失と勾配のばらつきは、従来の監視信号では見えない。 本稿では,標準パイプラインで容易に利用できるトレーニング信号を用いて,作業者レベルの一貫性を定量化する,モデルに依存しない診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T04:42:30Z)
• Phase Transition for Budgeted Multi-Agent Synergy [41.486076708302456]
  マルチエージェントシステムは信頼性を向上させることができるが、固定された推論予算の下では、しばしば役立つか、飽和するか、崩壊するかさえある。 我々は、現代のエージェントスタックの3つの束縛制約からこれらの状態を予測する最小限の校正可能な理論を開発する。
  論文  参考訳（メタデータ） (2026-01-24T05:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。