論文の概要: Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

• arxiv url: http://arxiv.org/abs/2610.22169v2
• Date: Sun, 18 Oct 2026 11:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.318233
• Title: Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
• Title（参考訳）: 語彙参照フレーム:ネイティブセマンティックスにおけるLM残留ストリームの解釈
• Abstract要約: 隠れた状態はすべて、コンテキストに適応したレイヤによって誘導される、ネイティブな参照フレームを持っている、と我々は主張する。 層ごとに一定の方向のレンズは、コヒーレンスの平方根の上の原フレームの語彙の読み出しと平均的なコサインに到達できない。 平均的な読み出しは、最終0.82と0.81の層に、レンズの0.11以上の層に、モデルの一番上のトークンに落ち着く。
• 参考スコア（独自算出の注目度）: 22.84428628659889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The vocabulary of a language model is its native semantics, and the embedding and unembedding fix the meaning of a state at the two ends of the residual stream. Between them, existing methods reuse a fixed lens or treat states as a point cloud, and neither reads a state as the model does. We argue that every hidden state has a native reference frame, induced by the layers that remain and adaptive to the context. Lexical reference frames approximate it in a model-native and context-aware way, reading a state through the remaining layers with a given number of rounds of attention between positions and a typical attention output for the rest, fitting nothing to the model's output. No lens with fixed directions per layer can reach a mean cosine with the native frame's lexical readouts above the square root of their coherence, 0.30 and 0.35 at mid-depth of SmolLM3-3B and OLMo3-7B. LexFrame[1], of order 1, reaches 0.97 and 0.97, and its readings are on average within 0.16 and 0.15 nats of the model's output. Its coefficient differences attribute predictions more faithfully than attribution patching, and its lexical basis steers predictions while sparing other tokens. On average, its readings settle on the model's top token over the final 0.82 and 0.81 of the layers, those of lenses over at most 0.11. These frames thus make every hidden state readable, attributable and steerable.
• Abstract（参考訳）: 言語モデルの語彙は、そのネイティブセマンティクスであり、埋め込みとアンエンベディングは、残留ストリームの2つの端で状態の意味を固定する。 それらの間には、既存のメソッドが固定レンズを再利用したり、ステートをポイントクラウドとして扱う。 隠れた状態はすべて、コンテキストに適応したレイヤによって誘導される、ネイティブな参照フレームを持っている、と我々は主張する。 語彙参照フレームは、それをモデルネイティブでコンテキスト対応の方法で近似し、位置間の注意のラウンド数と残りの部分に対する典型的な注意のアウトプット数で残りのレイヤを通して状態を読み、モデル出力に何ら適合しない。 SmolLM3-3B と OLMo3-7B の中間深度で、コヒーレンスの平方根の上の原フレームのレキシカルリードアウトと平均コサインに固定方向のレンズが届かない。 LexFrame[1]は順1で0.97と0.97に達し、平均して0.16と0.15ナット以内である。 その係数差は帰属パッチよりも忠実に予測し、その語彙基底は他のトークンを分散しながら予測を行う。 平均して、その読み出しは、最終的な0.82と0.81の層に、レンズの0.11以上の層に、モデルの一番上のトークンに落ち着く。 これらのフレームは、すべての隠された状態を読みやすく、帰属可能で、管理可能である。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
  視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。 Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
  論文  参考訳（メタデータ） (2026-09-12T06:28:11Z)
• Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures [2.3982445219832678]
  マルチモーダル評価は、視覚言語モデルが画像を読み間違えたか、それを誤読したかは定かではない。 我々は、既知のオブジェクトをレンダリングすることによって構築されたベンチマークのためのモデルなし参照であるレンダリング天井を紹介する。 我々は、天井が2,160個の結晶構造上に空になっていることを証明し、射影偶然の計算可能なセットを通してのみ失敗することを証明した。
  論文  参考訳（メタデータ） (2026-09-01T03:42:37Z)
• Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models [11.206758778146282]
  本研究では,視覚が言語モデルに入らない場面質問応答インタフェースについて検討する。 低ランク適応で微調整されたVLMはゼロショットシステムに取って代わるが、同様に教師付きテキストリーダーを繋ぐだけである。
  論文  参考訳（メタデータ） (2026-08-29T05:24:25Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data [0.0]
  本稿では,パクト状態を3つの明示的で検査可能な参照オブジェクトバインディングに外部化するフレームワークを提案する。 スタンフォード・リピート・レファレンス・ゲーム・コーパス(Stanford Repeated Reference Game corpus)のフレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-08-09T12:14:10Z)
• Temporal Multi-Signal Fusion for Token-Level Hallucination Detection [0.0]
  トークンレベルの幻覚検出器は、1つの信号から独立してトークンをスコアし、生成モデルが確実に間違っている場合に正確に失敗する。 本稿では,幻覚を時間的に拡張したスパンとして扱い,シーケンスラベリングにより検出する。 双方向Gated Recurrent Unit (BiGRU) は、RAGTruth (10種)上のAUCの0.840に達する。
  論文  参考訳（メタデータ） (2026-06-30T19:22:39Z)
• Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
  解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。 ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
  論文  参考訳（メタデータ） (2026-04-28T02:53:23Z)
• StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment [70.87096576708898]
  本稿では,ゼロショットモデルの微調整を行うフレームワークであるStarFTを提案する。 StarFTはウォーターバードグループのシフトシナリオにおいて、それぞれ14.30%、平均精度を3.02%向上させる。
  論文  参考訳（メタデータ） (2025-05-19T15:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。