論文の概要: Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

• arxiv url: http://arxiv.org/abs/2604.04469v1
• Date: Mon, 06 Apr 2026 06:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.121686
• Title: Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability
• Title（参考訳）: 同様の幾何学, 対向雑音:変圧器のマグニチュード表現にはスカラー変動が欠如している
• Authors: Jon-Paul Cacioli,
• Abstract要約: 変圧器は対数圧縮等級の形状を再現するが、生体系で観測される定型CVノイズシグネチャは再現しない。 変換器は対数圧縮等級を再現するが、生体系で観測される定型CVノイズ信号は再現しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scalar variability -- the finding that representational noise scales proportionally with magnitude, producing a constant coefficient of variation -- is a hallmark of biological magnitude systems. We tested whether transformer language models exhibit this property by analysing the dispersion of hidden-state representations across carrier sentences for 26 numerical magnitudes in three 7-8B parameter models (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base; data from Cacioli, 2026). We found the opposite: representational variability decreased with magnitude along the magnitude axis (scaling exponent alpha approx -0.19; 0/16 primary layers with alpha > 0, all three models). The negative sign was consistent in full-dimensional space (alpha approx -0.04) and after sentence-identity correction (alpha approx -0.007). The anti-scalar pattern was 3-5x stronger along the magnitude axis than orthogonal dimensions, and corpus frequency strongly predicted per-magnitude variability (rho = .84). These results demonstrate that distributional learning alone is insufficient to produce scalar variability: transformers reproduce log-compressive magnitude geometry but not the constant-CV noise signature observed in biological systems.
• Abstract（参考訳）: スカラー変動(Scalar variability) -- 表現ノイズが大きさに比例してスケールし、変化の定数係数を生成することの発見 -- は、生物学的等級システムの目印である。 3つの7-8Bパラメータモデル (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base; data from Cacioli, 2026) において, キャリア文間の隠れ状態表現の分散を26桁の数値的に解析することにより, この特性を示すか否かを検討した。 表現変数は, 大きさ軸に沿って等級的に減少し, 指数型アルファ近似-0.19; 0/16プライマリ層はα>0, 全3モデルで分散した。 負の符号は全次元空間 (alpha approx -0.04) と文同一性補正 (alpha approx -0.007) で一致した。 反スカラーパターンは、直交次元よりも大きさ軸に沿って3～5倍強く、コーパス周波数はマグニチュードあたりの変動を強く予測した(rho = .84)。 これらの結果から, 分散学習だけではスカラー変動が得られず, 変圧器は生体系で観測される定型CVノイズ信号ではなく, 対数圧縮等級の形状を再現することがわかった。

関連論文リスト

• Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models [0.0]
  表現幾何学は3大領域にわたって一貫して対数圧縮的であることを示す。 1つのモデルは人間の範囲ウェバー分率(WF = 0.20)を生成し、もう1つのモデルはそうではない。 因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関連付けられ、その後の層は幾何学が最強である。
  論文  参考訳（メタデータ） (2026-03-21T04:38:30Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Disorder-broadened topological Hall phase and anomalous Hall scaling in FeGe [0.9168767077543417]
  本研究は、80nmエピタキシャルFeGe薄膜における欠陥密度の変化に、Ne$+$イオン照射を1011$から1014$イオン−cm$-2$に使用した。 温度依存性と磁場依存性のホール測定により、乱れの増大は、プリズムフィルムの200K付近の狭い窓から4Kまで、高頻度で位相ホール信号を徐々に拡張することが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-07T06:25:46Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Scale-invariant phase transition of disordered bosons in one dimension [0.0]
  1次元のボゾン粒子の超流動状態と非超流動状態の間の障害誘起量子相転移は、一般的にベレジンスキー-コステリッツ-Thouless (BKT)型であることが期待されている。 ここでは、積分可能なパワーローホッピングを持つハードコア格子ボソンが1/ralpha$で崩壊し、代わりに非BKT連続相転移を行うことを示す。
  論文  参考訳（メタデータ） (2023-10-26T13:30:12Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• Outliers Dimensions that Disrupt Transformers Are Driven by Frequency [79.22656609637525]
  トークン周波数が異常現象に寄与することを示す。 また, モデル性能に対する外れ値の影響は層によって異なり, また, 乱れの大きさと符号化されたトークン周波数との相関関係も明らかとなった。
  論文  参考訳（メタデータ） (2022-05-23T15:19:09Z)
• Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
  非パラメトリックリッジレス最小二乗の学習特性について検討する。 スケール依存カーネルで定義される推定器の一般的な場合を考える。
  論文  参考訳（メタデータ） (2020-06-17T16:43:37Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。