論文の概要: Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
- arxiv url: http://arxiv.org/abs/2603.20642v1
- Date: Sat, 21 Mar 2026 04:38:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.0116
- Title: Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
- Title（参考訳）: 変圧器のマグニチュード表現におけるウェーバーの法則-効率的な符号化、表現幾何学、言語モデルにおける心理学的法則
- Abstract要約: 表現幾何学は3大領域にわたって一貫して対数圧縮的であることを示す。
1つのモデルは人間の範囲ウェバー分率(WF = 0.20)を生成し、もう1つのモデルはそうではない。
因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関連付けられ、その後の層は幾何学が最強である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How do transformer language models represent magnitude? Recent work disagrees: some find logarithmic spacing, others linear encoding, others per-digit circular representations. We apply the formal tools of psychophysics to resolve this. Using four converging paradigms (representational similarity analysis, behavioural discrimination, precision gradients, causal intervention) across three magnitude domains in three 7-9B instruction-tuned models spanning three architecture families (Llama, Mistral, Qwen), we report three findings. First, representational geometry is consistently log-compressive: RSA correlations with a Weber-law dissimilarity matrix ranged from .68 to .96 across all 96 model-domain-layer cells, with linear geometry never preferred. Second, this geometry is dissociated from behaviour: one model produces a human-range Weber fraction (WF = 0.20) while the other does not, and both models perform at chance on temporal and spatial discrimination despite possessing logarithmic geometry. Third, causal intervention reveals a layer dissociation: early layers are functionally implicated in magnitude processing (4.1x specificity) while later layers where geometry is strongest are not causally engaged (1.2x). Corpus analysis confirms the efficient coding precondition (alpha = 0.77). These results suggest that training data statistics alone are sufficient to produce log-compressive magnitude geometry, but geometry alone does not guarantee behavioural competence.
- Abstract（参考訳）: トランスフォーマー言語モデルはどのようにマグニチュードを表すのか?
対数間隔、線形符号化、デジタル単位の円形表現など、最近の研究は一致しない。
我々は、この問題を解決するために精神物理学の正式なツールを適用します。
3つのアーキテクチャファミリー(Llama,Mistral,Qwen)にまたがる3つの7-9B命令調整モデルにおいて,4つの収束パラダイム(表現類似性分析,行動識別,精度勾配,因果介入)を用いて3つの知見を報告する。
まず、表現幾何学は一貫して対数圧縮的である: RSA とウェバー法則の相似性行列との相関は、96のモデルドメイン層全ての細胞で .68 から .96 まで様々であり、線形幾何学は好ましくはない。
第2に、この幾何学は行動とは分離している: 1つのモデルが人間の範囲ウェバー分数(WF = 0.20)を生成し、もう1つのモデルが生成せず、両方のモデルが対数幾何学を持つにもかかわらず時間的および空間的識別において偶然に実行する。
第3に、因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関与するが、その後の層は幾何が強いが因果的に関与しない(1.2x)。
コーパス解析は効率的な符号化条件(alpha = 0.77)を確認する。
これらの結果は、データ統計学のトレーニングだけでは対数圧縮等級の幾何を生成するには十分であるが、幾何だけでは行動能力は保証されないことを示唆している。
関連論文リスト
- The information geometry of large language models is shared, learned, and controllable [0.0]
振舞いは、出力保存対称性までの幾何を決定することを示す。
アクロス変圧器、状態空間および繰り返しモデル、出力ジオメトリはアクティベーションジオメトリよりも強く一致する。
制御された言語割り当ては、幾何学がアーキテクチャ全体にわたる言語法則に従うことを示している。
論文 参考訳（メタデータ） (2026-09-10T04:09:49Z) - Hierarchical Grading in Large Language Models [0.0]
GLLM( Graded Large Language Models)を紹介する。
GLLMは変換器の表現空間に階調を付与するフレームワークである。
この構造は、階調ニューラルネットワークと階調変換器の理論を自己回帰言語モデルに拡張する。
論文 参考訳（メタデータ） (2026-07-23T20:14:48Z) - Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
相関行列は機能的脳ネットワークの基本要約である。
既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。
オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
論文 参考訳（メタデータ） (2026-05-21T11:22:31Z) - Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation [0.7162422068114824]
独立に訓練された言語モデルが幾何学的に互換性のある潜在表現に収束するかどうかを検討する。
我々は,大規模教師モデルの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習する。
幾何アライメントの品質と行動補正率のほぼゼロの相関を報告する。
論文 参考訳（メタデータ） (2026-03-20T18:26:23Z) - Learning and extrapolating scale-invariant processes [3.331543293568139]
地震や雪崩のような力の法則の振る舞いを示すプロセスは、どのようにして、どれくらいの程度でスケールフリーなプロセスが適用できるのかという問題に取り組む。
我々は、モデルの外挿能力を必要とするトレーニングセットにおける希少事象など、大きな事象を予測することに興味を持っている。
論文 参考訳（メタデータ） (2026-01-21T09:35:44Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。
ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。
我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
論文 参考訳（メタデータ） (2022-10-15T08:01:08Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳（メタデータ） (2022-10-13T10:00:30Z) - Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。
本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
論文 参考訳（メタデータ） (2022-08-02T01:15:39Z) - NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One
Go [109.88509362837475]
入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。
NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。
異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
論文 参考訳（メタデータ） (2021-06-17T12:25:44Z) - GeoMol: Torsional Geometric Generation of Molecular 3D Conformer
Ensembles [60.12186997181117]
分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。
既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。
エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
論文 参考訳（メタデータ） (2021-06-08T14:17:59Z) - Self-supervised Geometric Perception [96.89966337518854]
自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。
また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-03-04T15:34:43Z) - Identifying the latent space geometry of network models through analysis
of curvature [7.644165047073435]
本稿では,可換空間の経験的に関連するクラスから多様体の種類,次元,曲率を一貫して推定する手法を提案する。
私たちのコアインサイトは、このグラフを、シリック間の結びつきに基づく騒々しい距離行列として表現することで実現します。
論文 参考訳（メタデータ） (2020-12-19T00:35:29Z) - Computational Analysis of Deformable Manifolds: from Geometric Modelling
to Deep Learning [0.0]
非平坦空間の多様性が豊富な研究領域を提供することを示す。
形状処理とデータ解析のための幾何学的手法について検討する。
論文 参考訳（メタデータ） (2020-09-03T16:50:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。