論文の概要: Where Pretraining writes and Alignment reads: the asymmetry of Transformer weight space

• arxiv url: http://arxiv.org/abs/2605.16600v1
• Date: Fri, 15 May 2026 20:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.794436
• Title: Where Pretraining writes and Alignment reads: the asymmetry of Transformer weight space
• Title（参考訳）: Pretraining write and Alignment: the asymmetric of Transformer weight space
• Authors: Valeria Ruscio, Eli-Shaoul Khedouri, Keiran Thompson,
• Abstract要約: 交叉エントロピー事前トレーニングと優先アライメントは同じトランスフォーマーウェイトを更新するが、幾何学的に異なる痕跡を残している。 我々は、この非対称性を、重量差が残ストリーム活性化部分空間とどのように一致しているかを追跡する相対サブスペース・フレクションプローブで特徴づける。
• 参考スコア（独自算出の注目度）: 2.2940141855172036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-entropy pretraining and preference alignment update the same transformer weights, but leave geometrically distinct traces. We characterise this asymmetry with a relative-subspace-fraction probe that tracks how weight deltas align with residual-stream activation subspaces and with the prediction subspace defined by the unembedding. Alignment deltas concentrate in the read pathway ($W_Q$, $W_K$), along principal directions of attention-input activations, while remaining near-isotropic in the write pathway ($W_O$, $W_2$) relative to the prediction subspace. We explain this pattern through anisotropic gradient accumulation: updates to a matrix $W$ are sums of outer products $δ_t a_t^\top$, and inherit directional structure from whichever side has concentrated covariance. For read-pathway matrices, this side is the input activation $a_t$, whose covariance is spiked in trained transformers and therefore produces objective-agnostic concentration. For write-pathway matrices, the relevant side is the upstream gradient $δ_t$, whose anisotropy depends on the loss. Cross-entropy supplies the canonical sharp per-sample signal, inducing write-pathway prediction geometry during pretraining; alignment objectives typically add little further write-side concentration. We support this explanation with a within-checkpoint trajectory, a graded contrastive-objective control, and a closed-form rank-1 intervention with matched direction controls, providing causal evidence for the proposed weight-space geometry.
• Abstract（参考訳）: 交叉エントロピー事前トレーニングと優先アライメントは同じトランスフォーマーウェイトを更新するが、幾何学的に異なる痕跡を残している。 我々は、この非対称性を、重量差が残ストリーム活性化部分空間とどのように一致しているかを追跡する相対サブスペース・フレクションプローブと、アンエンベディングによって定義された予測部分空間で特徴づける。 アライメントデルタは、読み取り経路(W_Q$, $W_K$)に注意入力活性化の主方向に沿って集中し、予測部分空間に対して書き込み経路(W_O$, $W_2$)にほぼ等方的に留まる。 行列 $W$ への更新は外部積 $δ_t a_t^\top$ の和であり、任意の側が共分散を集中した方向構造を継承する。 リード・パスウェイ行列の場合、この辺は入力活性化$a_t$であり、この辺は訓練された変圧器で共分散がスパイクされ、したがって客観的な濃度が生じる。 書き込みパスウェイ行列の場合、関連する側は上流勾配$δ_t$であり、その異方性は損失に依存する。 クロスエントロピーは、サンプルごとの標準的なシャープ信号を供給し、事前訓練中に書き込み経路予測幾何学を誘導する。 我々は、この説明を、チェックポイント内軌跡、グレード付きコントラストオブジェクト制御、および整合方向制御によるクローズドフォームランク1介入でサポートし、提案した重み空間幾何学の因果的証拠を提供する。

関連論文リスト

• How Does Attention Help? Insights from Random Matrices on Signal Recovery from Sequence Models [6.758792133077052]
  固有値分布の制限,外乱固有値,および隠れ信号との固有ベクトルアライメントの正確な特徴を導出する。 パラメータフリー因果自己アテンションを$/d$のスコアスケーリングで行うと、平均プールよりも信号の回復が向上する決定論的調和重みが得られることを示す。
  論文  参考訳（メタデータ） (2026-05-07T18:28:01Z)
• Symmetric Equilibrium Propagation for Thermodynamic Diffusion Training [0.0]
  本稿では,2重結合型アナログ基板が,ディジタル推論よりも3～4桁のエネルギー優位性を持つ予測値において,物理的に動的に実現可能であることを示す。 我々は、外的デジタル加速器を介して勾配をルーティングすることなく、同じ基板上でエンハンチングループを閉じることができるかどうかを判定する。
  論文  参考訳（メタデータ） (2026-04-26T17:05:05Z)
• OLion: Approaching the Hadamard Ideal by Intersecting Spectral and $\ell_{\infty}$ Implicit Biases [29.60546958677364]
  nameAは、更新方向からのスペクトル制御と、署名更新からの座標制御を組み合わせる。 我々は、軽度で経験的に証明された対角対等方性仮定の下で収束を証明した。 nameA は運動量レベル状態のみを使用しながら、同等のチューニングの下でAdamW と Muon にマッチするか、より優れています。
  論文  参考訳（メタデータ） (2026-02-01T08:59:45Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Light transfer transitions beyond higher-order exceptional points in parity-time and anti-parity-time symmetric waveguide arrays [7.21172766653517]
  N$2次例外点(EP)に基づく光伝達ダイナミクスの研究のために2つの非エルミートアレイが提案されている。 $mathcalPT$-symmetric配列は、2つの$N$th-order EPをサポートし、それぞれ実値と虚値の相を分離する。 反$$mathcalPT$-symmetric配列は、2つの$N$th-order EPもサポートしている。
  論文  参考訳（メタデータ） (2022-05-16T10:51:38Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。