論文の概要: Transformer MLP Gate Thresholds Are Couplings to a Carried Reference Direction

• arxiv url: http://arxiv.org/abs/2609.31956v1
• Date: Fri, 25 Sep 2026 20:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:21:24.145109
• Title: Transformer MLP Gate Thresholds Are Couplings to a Carried Reference Direction
• Title（参考訳）: トランスフォーマーMLPゲート閾値は、搬送された参照方向と結合する
• Abstract要約: ゲート閾値は、それが読んでいる分散のためにネットワークが構築する定数との結合として実装される。 ゲート閾値はすべてのGELUおよびSiLUファミリーに存在し、OPTにのみ存在せず、反対のLayerNormバイアスが転送された参照をキャンセルする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The corpus-mean direction of a transformer's residual stream is a component shared across all inputs, and is commonly removed by mean-centering before representational analysis. We present evidence that it is a functional component: the reference against which the MLP gate population sets its operating point. In Phi-2, an exact decomposition of resting gate pre-activations shows that at mid-stack layers the resting inhibition of >99.9% of gates is carried by the coupling $w \cdot b_L$ to the carried mean direction, at 48-56$\times$ the explicit bias parameter, and the coupling is direction-specific: a random direction at matched norm orders the population's firing rates at Spearman $ρ\leq 0.09$ where the reference reaches 0.95. (That 0.95 is near-tautological on its own; the paper derives its null.) Causally, removing the stream's projection on the reference multiplies above-threshold firing by about 9$\times$, dose-monotonically, at 23-59$\times$ a norm-matched control; a random-initialised twin is flat, and replacement tests show that the direction carries the function and the magnitude does not. A direction-matched control makes the same point: noise injected along the reference costs 8-42$\times$ the same energy along a random direction. The decomposition replicates on four further families spanning both gate types (GELU with an explicit gate bias, bias-free SwiGLU), and the dose-response on two of them. Across an eight-model scan the mechanism is present in every GELU and SiLU family and absent only in OPT, where an opposing LayerNorm bias cancels the carried reference. Gate thresholds are implemented as couplings to a constant the network builds for the distribution it is reading, with the bias parameters contributing little; how much of that constant is carried in the stream and how much in parameters depends on the architecture.
• Abstract（参考訳）: 変圧器の残留ストリームのコーパス平均方向は、すべての入力間で共有される成分であり、表現解析の前に平均中心化によって一般的に除去される。 MLPゲート群が動作点を設定する基準である機能成分であることを示す。 Phi-2 では、静止ゲート前活性化の正確な分解は、中央スタック層において99.9%の残差の抑制は、搬送平均方向の結合 $w \cdot b_L$ で48-56$\times$ で、結合は方向特異的であり、一致するノルムでのランダムな方向はスピアマン$ρ\leq 0.09$ で、基準値が 0.95 に達する。 (0.95は単独でほぼ自閉症であり、この論文は無効である。) 因みに、基準倍数に対するストリームのプロジェクションを 9$\times$, dose-monotonically, at 23-59$\times$ a norm-matched control; a random-itialized twin is flat, and replacement test shows that the direction carry the function and the magnitude is not。 基準値の8-42$\times$同じエネルギーをランダムな方向に沿って注入する。 この分解は、両方のゲートタイプにまたがる4つのファミリー(GELUは明示的なゲートバイアス、バイアスのないSwiGLU)で複製され、そのうちの2つは線量応答である。 8モデルスキャン全体にわたって、このメカニズムはすべてのGELUおよびSiLUファミリーに存在し、OPTにのみ存在せず、反対のLayerNormバイアスが搬送された参照をキャンセルする。 ゲート閾値は、ネットワークが読んでいる分散のために構築する定数との結合として実装され、バイアスパラメータはほとんど寄与しない。

関連論文リスト

• GAUGE: Group-Wise View-Inconsistency Rectification for Feed-Forward 4D Tracking [48.91477882822122]
  本稿では,GAUGE(Group-wise Adaptive Unsupervised Gauge Estimation)について述べる。 方向整合性と空間接続性から運動群を復元し、フレーム単位のラジアルスケールとグループレベルの変換を推定する。 D4RT, 4RC, SM4RTを含む8つのトラッカーの動的クエリポイントでは, 訂正されていない予測に対して, 終端誤差を15.1%から62.6%削減する。
  論文  参考訳（メタデータ） (2026-09-26T13:14:53Z)
• $\text{GSF-}χ$: Global Stereochemical Fields for Chiral Graph Transformers [49.85093436361195]
  GSF-$$は、全ての対の相互作用をステレオジェニック単位が変調するグラフ変換器である。 $C$プロジェクションはミラーオンのECDピークカウントと位置をミラーオードピークサインから分離する。 GSF-$$は全ての中央ECD出力をリードし、軸方向回転とシンボルを最強のベースラインで12.6%$と7.9%$で改善する。
  論文  参考訳（メタデータ） (2026-09-11T07:41:20Z)
• Orientation, not magnitude: the causal structure of task-vector interference in merged language models [0.0]
  タスク算術はそうでなければ機能し、フィールドはマグニチュードで原因を診断する。 層状フラックスの正確な分解は、既存の断続輸送の増幅によって支配されていることを示している。 ナイーブのbfloat16生成の「ユニバーサリティ」は、量子化粗さであることが判明した。
  論文  参考訳（メタデータ） (2026-08-12T08:40:24Z)
• Boundary-Phase Control of Sequentially Addressed Trapped-Ion ZZ Interactions [9.196816070340626]
  運動介在イオン相互作用は、通常、両方の標的イオン上の状態依存力を調整する。 我々は、各ウィンドウが変位ベクトルを生成し、異なるイオン上のベクトル間で順序付けられたシンプレクティック積がZZ相を生成する複素近接共鳴記述を導出する。 単一イオンアドレッシングを交互に行う実験的な前例を基礎として,この境界相依存性を,ターゲットウインドウの重なりや暗間隙に隠れ力を持たずに分離する,マッチングエンベロープ位相とコントラスト制御を開発した。
  論文  参考訳（メタデータ） (2026-07-17T07:00:14Z)
• Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking [0.0]
  単一軌道の介入は、実行中のポータビリティではなく、1回の実行内で必要であることを示している。 2つの異なる種から実行された場合、各重みベクトルをノルムと単位方向に分割し、一方のランのノルムを他方の方向に再結合し、トレーニングを継続する。
  論文  参考訳（メタデータ） (2026-07-07T12:12:43Z)
• Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale [5.67642958049511]
  層ノルムアフィンの逆スケールの$-1/|-1|$は、終末ノルム中心の活性化共分散の正確な核である。 LNスケールパラメータのみから読み出され、前方または後方のパスがなく、固有解がない。
  論文  参考訳（メタデータ） (2026-06-17T18:28:37Z)
• Stochastic Estimation of the Layer-wise Hessian Trace for Monitoring Neural-network Training [45.88028371034407]
  本稿では,ニューラルネットワークの経験的リスクであるヘッセン行列の対角ブロックの軌跡のパラメータ推定器を提案する。 この手順はハッチンソントレース推定器とパラメータベクトル全体の上の1つのヘッセンベクトル積を組み合わせたものである。 重み分担の下での正しさは,第2次微分の前に階層的にヘッセンを組み立てる必要があることを示す。
  論文  参考訳（メタデータ） (2026-05-25T10:24:32Z)
• Self-Attention as Transport: Limits of Symmetric Spectral Diagnostics [0.0]
  均一な因果的注意は、$n$に依存しないフロア$ge 1/5$で、最悪のカットは$tast/n approx 0.32$で、ウィンドウアテンションは$O(w/n)$で、フロアは$O(w/n)$である。 結果として生じる2軸の診断は、ファルシブルな極性予測をもたらす。
  論文  参考訳（メタデータ） (2026-05-06T13:25:13Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Emergence of Generic Entanglement Structure in Doped Matchgate Circuits [37.742691394718086]
  非ガウス資源を用いたランダム回路のドーピングは、典型的な力学の絡み合い構造をいかに復元するかを示す。 その結果,非ガウス性は非可積分性の出現を駆動する鍵となる資源として認識され,自由および相互作用するフェルミオン系の力学を橋渡しすることがわかった。
  論文  参考訳（メタデータ） (2025-07-16T18:00:02Z)
• Control landscapes for high-fidelity generation of C-NOT and C-PHASE gates with coherent and environmental driving [41.94295877935867]
  環境下でC-Zゲートを詳細に検討した2ビットC-NOTとC-PHASEの高忠実度発生問題について考察する。 本研究では, 忠実度の挙動を制御の関数として記述した量子制御環境について検討する。
  論文  参考訳（メタデータ） (2024-05-23T00:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。