論文の概要: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- arxiv url: http://arxiv.org/abs/2607.16741v2
- Date: Wed, 22 Jul 2026 10:57:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 16:42:31.533255
- Title: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- Title（参考訳）: 真理方向の解剖:知識依存次元、関係法則、および小言語モデルにおける収束カテゴリー幾何学
- Authors: Francesco Karim Vicidomini,
- Abstract要約: 大規模言語モデルにおける真理表現は、ステートメントの極性を越えて普遍的であるが、多次元部分空間内に存在することを示す。
このフレームワークは、3つの質問に沿って拡張されます。サブスペースの次元性は、モデルの知識、どのアーキテクチャコンポーネントが真理方向を構築しているか、そして、どの方向が混在しているかに依存します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bürger et al. (2024) demonstrated that truth representations in large language models are universal across statement polarity but reside within a multidimensional subspace. We extend this framework along three questions: how the dimensionality of the subspace depends on the model's knowledge, which architectural component builds the truth direction, and what the direction is a mixture of. In Part I, a training-free directional probe derived from the SVD of hidden-state minimal pairs shows that the dimensionality of truth is knowledge-dependent: the signal concentrates on a single axis for known facts and diffuses as knowledge decreases. In Part II, a relational law emerges across multiple model families: attention propagates truth frames, the feed-forward network opposes the current block's frame, and post-peak decay is causally attributed to the SwiGLU value stream. Furthermore, per-category truth axes form a semantically signed arrangement that converges across families. Stress tests expose a sign instability in this orientation, which we repair with a spectral consensus gauge to sharpen the convergence into a knowledge-gated law. Finally, a replication campaign on Gemma-2-2b, extending our decomposition tools to accommodate its sandwich normalization, confirms these laws and attributions. We quantify the knowledge gate as classical attenuation and isolate a stable, model-specific private geometry.
- Abstract（参考訳）: Bürger et al (2024) は、大きな言語モデルの真理表現がステートメント極性を越えて普遍的であるが、多次元部分空間内に存在することを示した。
このフレームワークは、3つの質問に沿って拡張されます。サブスペースの次元性は、モデルの知識、どのアーキテクチャコンポーネントが真理方向を構築しているか、そして、どの方向が混在しているかに依存します。
パートIでは、隠れ状態の最小対のSVDから導かれる訓練のない指向性プローブは、真理の次元が知識に依存していることを示している。
注意は真理フレームを伝播し、フィードフォワードネットワークは現在のブロックのフレームに反し、ポストピーク崩壊はSwiGLU値ストリームに因果的に帰属する。
さらに、カテゴリごとの真理軸は、家族間で収束する意味的に署名された配列を形成する。
ストレステストは、この方向の符号不安定性を露呈し、スペクトルコンセンサスゲージで修復し、知識付き法則への収束を鋭くする。
最後に、Gemma-2-2b上の複製キャンペーンにおいて、サンドイッチの正規化に対応するために分解ツールを拡張し、これらの法則と属性を確認する。
我々は、知識ゲートを古典的な減衰として定量化し、安定なモデル固有のプライベートジオメトリを分離する。
関連論文リスト
- Latent Semantic Manifolds in Large Language Models [0.0]
本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。
我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。
本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
論文 参考訳（メタデータ） (2026-03-17T13:05:56Z) - Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-16T17:20:38Z) - Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。
モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
論文 参考訳（メタデータ） (2026-02-04T06:13:11Z) - A Geometric Taxonomy of Hallucinations in LLMs [0.2538209532048866]
大きな言語モデルにおける「幻覚」という用語は、埋め込み空間における異なる幾何学的シグネチャと異なる現象を混同している。
本稿では,不信感,信頼感,事実的誤りの3つのタイプを識別する分類法を提案する。
この貢献は、埋め込みに基づく検出の範囲を明確にした幾何学的分類法である。
論文 参考訳（メタデータ） (2026-01-26T22:07:09Z) - Interpretation as Linear Transformation: A Cognitive-Geometric Model of Belief and Meaning [0.0]
純粋に代数的な制約から,信念の歪曲,モチベーションの漂流,反実的評価,相互理解の限界が生じることを示す。
この認知幾何学的視点は、人間と人工両方のシステムにおける影響の境界を明確にしていると私は主張する。
論文 参考訳（メタデータ） (2025-12-10T17:13:01Z) - Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳（メタデータ） (2025-10-20T21:40:36Z) - HierRelTriple: Guiding Indoor Layout Generation with Hierarchical Relationship Triplet Losses [52.70183252341687]
本稿では,空間的関係学習に着目した階層型三重項に基づく屋内関係学習手法HierRelTripleを提案する。
階層型リレーショナル三重項モデリングフレームワークであるHierRelTripleを導入する。
非条件レイアウト合成、フロアプラン条件付きレイアウト生成、シーン再構成の実験により、HierRelは空間関係のメトリクスを15%以上改善することを示した。
論文 参考訳（メタデータ） (2025-03-26T07:31:52Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。