論文の概要: Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

• arxiv url: http://arxiv.org/abs/2602.11169v1
• Date: Mon, 19 Jan 2026 06:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-15 14:54:53.71993
• Title: Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis
• Title（参考訳）: 変圧器表現におけるディエンタングル方向とマグニチュード:L2整合摂動解析による二重解離
• Authors: Mangadoddi Srikar Vardhan, Lekkala Sai Teja,
• Abstract要約: 角状摂動は言語モデリングの損失に対して最大42.9のダメージを与える。 方向が注意経路に優先的に影響を及ぼすのに対し、等級は微粒な構文判断のための処理強度を変調する。 この結果は線形表現仮説を洗練させ,モデル編集や解釈可能性研究に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer hidden states encode information as high-dimensional vectors, yet whether direction (orientation in representational space) and magnitude (vector norm) serve distinct functional roles remains unclear. Studying Pythia-family models, we discover a striking cross-over dissociation: angular perturbations cause up to 42.9 more damage to language modeling loss, while magnitude perturbations cause disproportionately more damage to syntactic processing (20.4% vs.1.6% accuracy drop on subject-verb agreement).This finding is enabled by L2-matched perturbation analysis, a methodology ensuring that an gular and magnitude perturbations achieve identical Euclidean displacements. Causal intervention reveals that angular damage flows substantially through the attention pathways (28.4% loss recovery via attention repair), while magnitude damage flows partly through the LayerNorm pathways(29.9% recovery via LayerNorm repair). These patterns replicate across scales within the Pythia architecture family. These findings provide evidence that direction and magnitude support partially distinct computational roles in LayerNorm based architectures. The direction preferentially affects attentional routing, while magnitude modulates processing intensity for fine-grained syntactic judgments. We find different patterns in RMSNorm-based architectures, suggesting that the dissociation depends on architectural choices. Our results refine the linear representation hypothesis and have implications for model editing and interpretability research
• Abstract（参考訳）: トランスフォーマー隠れ状態は高次元ベクトルとして情報をエンコードするが、方向(表現空間の向き)と大きさ(ベクトルノルム)が異なる機能的役割を果たすかどうかは不明である。 角状摂動は言語モデリングの損失に42.9以上のダメージを与える一方、等級摂動は構文処理に不均等にダメージを与える(20.4%対1.6%の精度低下)。 この発見はL2整合摂動解析(英語版)によって実現され、これは重力と等級の摂動が同一のユークリッド変位を達成することを保証する方法論である。 因果的介入により、注意経路(28.4%の損失回復、28.4%の損失回復、一部はLayerNorm経路(29.9%はLayerNorm修復)を経由する。 これらのパターンは、Pythiaアーキテクチャファミリー内のスケールにわたって複製される。 これらの結果は、LayerNormベースのアーキテクチャにおいて、方向と大きさが部分的に異なる計算の役割を担っていることを示す。 方向は注意ルーティングに優先的に影響し、マグニチュードは微粒な構文判断のための処理強度を変調する。 RMSNormベースのアーキテクチャにはさまざまなパターンがあり、解離はアーキテクチャの選択に依存することを示唆している。 我々の結果は線形表現仮説を洗練させ、モデル編集と解釈可能性研究に影響を及ぼす。

関連論文リスト

• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
  大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。 モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
  論文  参考訳（メタデータ） (2026-02-04T06:13:11Z)
• Causal Discovery with Mixed Latent Confounding via Precision Decomposition [0.0]
  微分可能およびスコアベースDAG学習者は、グローバル潜伏効果を因果エッジと誤解釈することができる。 我々は,これらの役割を分離したモジュール型高精度パイプラインであるtextscDCL-DECORを提案する。
  論文  参考訳（メタデータ） (2025-12-31T08:03:41Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)
• Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence [100.6913091147422]
  既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。 本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
  論文  参考訳（メタデータ） (2021-06-03T14:29:19Z)
• Understanding and Diagnosing Vulnerability under Adversarial Attacks [62.661498155101654]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,潜在変数の分類に使用される特徴を説明するために,新しい解釈可能性手法であるInterpretGANを提案する。 また、各層がもたらす脆弱性を定量化する最初の診断方法も設計する。
  論文  参考訳（メタデータ） (2020-07-17T01:56:28Z)
• Sparse representation for damage identification of structural systems [11.397437423613418]
  モデル更新とスパース損傷識別のための2段階感度解析に基づく新しいフレームワークを提案する。 次に、準$ell法上に構築されたスパース表現パイプラインを、損傷と局所化定量化のために提示する。 提案手法は, 構造損傷の局所化と定量化の両方を高精度に行うことができることを示す。
  論文  参考訳（メタデータ） (2020-06-06T18:04:35Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。