論文の概要: Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

• arxiv url: http://arxiv.org/abs/2610.22169v1
• Date: Thu, 15 Oct 2026 16:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.191966
• Title: Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
• Title（参考訳）: 語彙参照フレーム:ネイティブセマンティックスにおけるLM残留ストリームの解釈
• Abstract要約: すべての隠れた状態は、次に読み込むレイヤによって誘導され、コンテキストに適応する、ネイティブな参照フレームを持っている、と我々は主張する。 このように、語彙参照フレームは、モデルの隠された状態をすべて読み取り可能、属性可能、およびステアブルにする。
• 参考スコア（独自算出の注目度）: 22.84428628659889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vocabulary of a language model is its native semantics: the embedding and the unembedding fix the meaning of a state at the two ends of the residual stream. Between them, existing methods either reuse a fixed lens or treat the states as a point cloud, and neither reads a state the way the model does. We argue that every hidden state has a native reference frame, induced by the layers that read it next and adaptive to the context. Lexical reference frames approximate it by reading a state through the model's own remaining layers with a stated number of rounds of attention between positions and a typical attention output for the rest, without fitting to the model's output. No lens, with fixed directions per layer, can exceed the square root of the native frame's coherence, 0.30 and 0.35 at mid-depth of SmolLM3-3B and OLMo3-7B, whereas the first-order frame, LexFrame[1], reaches 0.97 and 0.97 and reads a state within 0.16 nats of the model's output. Its coefficients attribute predictions more faithfully than attribution patching, its lexical basis steers a prediction while sparing other tokens, and its confident readings would let an early exit skip 0.45 and 0.42 of the layers, where lenses skip almost none. In this way, lexical reference frames make every hidden state of the model readable, attributable and steerable.
• Abstract（参考訳）: 言語モデルの語彙は、そのネイティブセマンティクスである:埋め込みとアンエンベディングは、残留ストリームの2つの端で状態の意味を固定する。 それらの間には、既存のメソッドは固定レンズを再利用するか、状態をポイントクラウドとして扱うか、モデルのように状態を読み取るかのいずれかである。 すべての隠れた状態は、次に読み込むレイヤによって誘導され、コンテキストに適応する、ネイティブな参照フレームを持っている、と我々は主張する。 語彙参照フレームは、モデルが出力する出力に適合することなく、位置間の注意のラウンド数と残りの部分に対する典型的な注意の出力数で、モデル自身の残層を通して状態を読み取ることでそれを近似する。 SmolLM3-3B と OLMo3-7B の中間でネイティブフレームのコヒーレンスの平方根を0.30 と 0.35 で上回り、一方、一階フレームの LexFrame[1] は0.97 と 0.97 に達し、モデル出力の 0.16 ナット以内の状態を読み取る。 その係数は属性パッチよりも忠実に予測され、語彙ベースは他のトークンを分散しながら予測を導いており、自信のある読みでは早期の出口は0.45と0.42の層をスキップし、レンズはほとんどスキップしない。 このように、語彙参照フレームは、モデルの隠された状態をすべて読み取り可能、属性可能、およびステアブルにする。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
  視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。 Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
  論文  参考訳（メタデータ） (2026-09-12T06:28:11Z)
• Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures [2.3982445219832678]
  マルチモーダル評価は、視覚言語モデルが画像を読み間違えたか、それを誤読したかは定かではない。 我々は、既知のオブジェクトをレンダリングすることによって構築されたベンチマークのためのモデルなし参照であるレンダリング天井を紹介する。 我々は、天井が2,160個の結晶構造上に空になっていることを証明し、射影偶然の計算可能なセットを通してのみ失敗することを証明した。
  論文  参考訳（メタデータ） (2026-09-01T03:42:37Z)
• Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models [11.206758778146282]
  本研究では,視覚が言語モデルに入らない場面質問応答インタフェースについて検討する。 低ランク適応で微調整されたVLMはゼロショットシステムに取って代わるが、同様に教師付きテキストリーダーを繋ぐだけである。
  論文  参考訳（メタデータ） (2026-08-29T05:24:25Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data [0.0]
  本稿では,パクト状態を3つの明示的で検査可能な参照オブジェクトバインディングに外部化するフレームワークを提案する。 スタンフォード・リピート・レファレンス・ゲーム・コーパス(Stanford Repeated Reference Game corpus)のフレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-08-09T12:14:10Z)
• Temporal Multi-Signal Fusion for Token-Level Hallucination Detection [0.0]
  トークンレベルの幻覚検出器は、1つの信号から独立してトークンをスコアし、生成モデルが確実に間違っている場合に正確に失敗する。 本稿では,幻覚を時間的に拡張したスパンとして扱い,シーケンスラベリングにより検出する。 双方向Gated Recurrent Unit (BiGRU) は、RAGTruth (10種)上のAUCの0.840に達する。
  論文  参考訳（メタデータ） (2026-06-30T19:22:39Z)
• Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
  解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。 ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
  論文  参考訳（メタデータ） (2026-04-28T02:53:23Z)
• StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment [70.87096576708898]
  本稿では,ゼロショットモデルの微調整を行うフレームワークであるStarFTを提案する。 StarFTはウォーターバードグループのシフトシナリオにおいて、それぞれ14.30%、平均精度を3.02%向上させる。
  論文  参考訳（メタデータ） (2025-05-19T15:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。