論文の概要: Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation

• arxiv url: http://arxiv.org/abs/2603.20406v1
• Date: Fri, 20 Mar 2026 18:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.894268
• Title: Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation
• Title（参考訳）: 異なる空間における思考:ドメイン特有な潜在幾何学はアーキテクチャ間の翻訳を生き残る
• Authors: Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee,
• Abstract要約: 独立に訓練された言語モデルが幾何学的に互換性のある潜在表現に収束するかどうかを検討する。 我々は,大規模教師モデルの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習する。 幾何アライメントの品質と行動補正率のほぼゼロの相関を報告する。
• 参考スコア（独自算出の注目度）: 0.7162422068114824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate whether independently trained language models converge to geometrically compatible latent representations, and whether this compatibility can be exploited to correct model behavior at inference time without any weight updates. We learn a linear projection matrix that maps activation vectors from a large teacher model into the coordinate system of a smaller student model, then intervene on the student's residual stream during generation by substituting its internal state with the translated teacher representation. Across a fully crossed experimental matrix of 20 heterogeneous teacher-student pairings spanning mixture-of-experts, dense, code-specialized, and synthetically trained architectures, the Ridge projection consistently achieves R^2 = 0.50 on verbal reasoning and R^2 = 0.40 on mathematical reasoning, collapsing to R^2 = -0.22 under permutation control and R^2 = 0.01 under L_1 regularization. Behavioral correction rates range from 14.0% to 50.0% on TruthfulQA (mean 25.2%) and from 8.5% to 43.3% on GSM8K arithmetic reasoning (mean 25.5%), demonstrating that the method generalizes across fundamentally different reasoning domains. We report a near-zero correlation between geometric alignment quality and behavioral correction rate (r = -0.07), revealing a dissociation between representation space fidelity and output space impact. Intervention strength is architecture-specific: student models exhibit characteristic sensitivity profiles that invert across domains, with the most steerable verbal student becoming the least steerable mathematical student. Finally, a double dissociation experiment conducted across all 20 model pairings confirms without exception that projection matrices collapse catastrophically when transferred across reasoning domains (mean R^2 = -3.83 in both transfer directions), establishing domain-specific subspace geometry as a universal property of LMs.
• Abstract（参考訳）: 独立に訓練された言語モデルが、幾何学的に互換性のある潜在表現に収束するかどうか、および、この互換性を利用して、重み付けをせずに推論時にモデル動作を補正できるかどうかを検討する。 我々は,大規模教師モデルからの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習し,その内部状態を変換した教師表現に代えて,生成中の学生の残差ストリームに介入する。 数学的推論ではR^2 = 0.50、数学的推論ではR^2 = 0.40、置換制御ではR^2 = -0.22、規則化ではR^2 = 0.01となる。 行動補正率は、TrathfulQAの14.0%から50.0%(平均25.2%)、GSM8Kの算術的推論の8.5%から43.3%(平均25.5%)まで変化しており、この方法が基本的な異なる推論領域にわたって一般化されていることを示している。 本稿では,幾何学的アライメントの品質と行動補正率(r = -0.07)のほぼゼロの相関を報告し,表現空間の忠実度と出力空間の影響の解離を明らかにする。 学生モデルは、ドメインをまたいで反転する特徴的な感度プロファイルを示し、最もステアブルな言語学生は、最もステアブルな数学的学生となる。 最後に、20のモデル対に対して行われた二重解離実験は、射影行列が推論領域を横切ると破滅的に崩壊すること(平均 R^2 = -3.83 は両方の移動方向にある)を例外なく確認し、領域固有の部分空間幾何学をLMの普遍的性質として確立した。

関連論文リスト

• Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models [0.0]
  表現幾何学は3大領域にわたって一貫して対数圧縮的であることを示す。 1つのモデルは人間の範囲ウェバー分率(WF = 0.20)を生成し、もう1つのモデルはそうではない。 因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関連付けられ、その後の層は幾何学が最強である。
  論文  参考訳（メタデータ） (2026-03-21T04:38:30Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Logit Distance Bounds Representational Similarity [18.79873056204737]
  本稿では,ロジット差に基づく分布距離について検討し,この距離の近接性が線形類似性を保証することを示す。 さらに、モデル確率が 0 から離れたとき、KL の発散は対数距離を逸脱するが、結果として得られる有界性は実際には非自明な制御を与えないことを示す。
  論文  参考訳（メタデータ） (2026-02-17T09:00:56Z)
• Seed-Induced Uniqueness in Transformer Models: Subspace Alignment Governs Subliminal Transfer [0.3805935148497361]
  教師が生徒が線形に復号化できる隠された特徴を埋め込むトランスフォーマーモデルにおけるサブリミナルトランスファーの分析を行う。 伝達強度は特性識別部分空間内のアライメントに比例する。
  論文  参考訳（メタデータ） (2025-11-02T17:34:43Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。