論文の概要: Concept Subspaces Compute Beyond the Logit Lens: A Weights-Only Test for Locating Representations Upstream of Readout

• arxiv url: http://arxiv.org/abs/2609.39263v1
• Date: Wed, 30 Sep 2026 08:22:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.434884
• Title: Concept Subspaces Compute Beyond the Logit Lens: A Weights-Only Test for Locating Representations Upstream of Readout
• Title（参考訳）: Logit Lensを超えて計算するコンセプトサブスペース:読み込みの上流に表現を配置するウェイトオンリーテスト
• Abstract要約: 概念部分空間がモデル行動に与える影響は、それが出力の読み出しとどのように関係するかを定めていない。 本研究では,抽出した部分空間と非埋め込み行列の優良な右特異方向との重なりを計測する二面的幾何学的診断法を提案する。
• 参考スコア（独自算出の注目度）: 0.4666493857924357
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A concept subspace's effect on model behavior does not establish how it relates to the output readout. We introduce a two-sided geometric diagnostic that measures an extracted subspace's overlap with the dominant right-singular directions of the unembedding matrix, evaluated against output-oriented positive controls. Given an extracted basis, the raw diagnostic requires only model weights. Our testbed is the Format-Agnostic Reasoning Subspace (FARS), a ten-dimensional basis extracted from eighteen reasoning concepts expressed in six surface forms. Across nine rank-matched estimators and twenty-six models, four activation-derived concept estimators carry only 0.38--0.80% mean energy in the top-ten readout span. Final-layer PCA carries 3.56%, exceeding FARS in 25 of 26 models. A same-layer next-token control, evaluated using a fitted linear translator for depth matching, carries approximately thirteen times more energy than FARS, with separation in all 25 tested models. Re-extracting FARS on ten disjoint concepts yields 62--100% cross-format retrieval across twenty-four generative models, demonstrating transfer of the extraction procedure rather than a fixed basis. A complementary four-model, three-seed intervention study finds model-dependent source-directed effects that remain well below full-vector replacement. Together, the geometry and intervention controls distinguish concept structure from dominant readout directions while limiting claims of causal sufficiency.
• Abstract（参考訳）: 概念部分空間がモデル行動に与える影響は、それが出力の読み出しとどのように関係するかを定めていない。 本研究では,抽出した部分空間と非埋め込み行列の右特異方向との重なりを計測し,出力指向の正の制御に対して評価する。 抽出された基準により、生の診断はモデル重量のみを必要とする。 我々のテストベッドは Format-Agnostic Reasoning Subspace (FARS) であり、6つの曲面形式で表現された18の推論概念から抽出された10次元基底である。 9つのランク適合型推定器と26モデルのうち、4つのアクティベーション由来の概念推定器は、トップ10の読み出し範囲で平均エネルギーをわずか0.38-0.80%しか持たない。 最終層PCAは3.56%で、26モデル中25モデルでFARSを上回っている。 深度整合のための線形トランスレータを装着して評価した同層次トーケン制御は、FARSの約13倍のエネルギーを供給し、25種類の試験モデルで分離する。 10の解離概念上のFARSの再抽出は、24の生成モデル間で62-100%のクロスフォーマット検索をもたらす。 補完的な4-モデルである3-seed intervention(英語版)研究は、モデル依存のソース指向効果がフルベクター置換よりもかなり低いことを発見した。 幾何学と介入制御は、因果正当性のクレームを制限しながら、概念構造を支配的な読み出し方向と区別する。

関連論文リスト

• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Boundary-Protection W8A8 HiFloat8 Quantization for Large-Scale Text-to-Video Diffusion Transformers [10.8425696912155]
  Ascend 910B NPU 上の W8A8 HiFloat8 フォーマットをターゲットにしたテキスト・ビデオ拡散変換器 Wan2.1-T2V-14B の学習後量子化手法を提案する。 我々は,40個のWanAttentionBlockに対して,ブロックごとのアクティベーションを系統的に解析し,その知見を境界保護戦略のモチベーションとして活用する。 提案手法は, 評価された5つのVBench次元のBF16ベースラインに一致するか, あるいはわずかに上回り, 5-prompt 評価セット内で測定可能な精度損失を示さない。
  論文  参考訳（メタデータ） (2026-05-31T02:17:31Z)
• Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams [0.0]
  391 の概念 x モデル対のアブレーション実験により、GEM 抽出プローブは少なくともピーク層プローブと同程度正確であることが示されている。 方向特異性制御は、アブレーション効果が概念指向性であることを確認する。
  論文  参考訳（メタデータ） (2026-05-25T13:40:15Z)
• Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
  MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。 本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。 我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T17:11:17Z)
• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。