論文の概要: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- arxiv url: http://arxiv.org/abs/2607.16741v2
- Date: Wed, 22 Jul 2026 10:57:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 16:42:31.533255
- Title: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- Title（参考訳）: 真理方向の解剖:知識依存次元、関係法則、および小言語モデルにおける収束カテゴリー幾何学
- Abstract要約: 大規模言語モデルにおける真理表現は、ステートメントの極性を越えて普遍的であるが、多次元部分空間内に存在することを示す。
このフレームワークは、3つの質問に沿って拡張されます。サブスペースの次元性は、モデルの知識、どのアーキテクチャコンポーネントが真理方向を構築しているか、そして、どの方向が混在しているかに依存します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bürger et al. (2024) demonstrated that truth representations in large language models are universal across statement polarity but reside within a multidimensional subspace. We extend this framework along three questions: how the dimensionality of the subspace depends on the model's knowledge, which architectural component builds the truth direction, and what the direction is a mixture of. In Part I, a training-free directional probe derived from the SVD of hidden-state minimal pairs shows that the dimensionality of truth is knowledge-dependent: the signal concentrates on a single axis for known facts and diffuses as knowledge decreases. In Part II, a relational law emerges across multiple model families: attention propagates truth frames, the feed-forward network opposes the current block's frame, and post-peak decay is causally attributed to the SwiGLU value stream. Furthermore, per-category truth axes form a semantically signed arrangement that converges across families. Stress tests expose a sign instability in this orientation, which we repair with a spectral consensus gauge to sharpen the convergence into a knowledge-gated law. Finally, a replication campaign on Gemma-2-2b, extending our decomposition tools to accommodate its sandwich normalization, confirms these laws and attributions. We quantify the knowledge gate as classical attenuation and isolate a stable, model-specific private geometry.
- Abstract（参考訳）: Bürger et al (2024) は、大きな言語モデルの真理表現がステートメント極性を越えて普遍的であるが、多次元部分空間内に存在することを示した。
このフレームワークは、3つの質問に沿って拡張されます。サブスペースの次元性は、モデルの知識、どのアーキテクチャコンポーネントが真理方向を構築しているか、そして、どの方向が混在しているかに依存します。
パートIでは、隠れ状態の最小対のSVDから導かれる訓練のない指向性プローブは、真理の次元が知識に依存していることを示している。
注意は真理フレームを伝播し、フィードフォワードネットワークは現在のブロックのフレームに反し、ポストピーク崩壊はSwiGLU値ストリームに因果的に帰属する。
さらに、カテゴリごとの真理軸は、家族間で収束する意味的に署名された配列を形成する。
ストレステストは、この方向の符号不安定性を露呈し、スペクトルコンセンサスゲージで修復し、知識付き法則への収束を鋭くする。
最後に、Gemma-2-2b上の複製キャンペーンにおいて、サンドイッチの正規化に対応するために分解ツールを拡張し、これらの法則と属性を確認する。
我々は、知識ゲートを古典的な減衰として定量化し、安定なモデル固有のプライベートジオメトリを分離する。
関連論文リスト
- Geometric Factual Recall in Transformers [57.48371649045765]
一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。
我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。
単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。
これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
論文 参考訳（メタデータ） (2026-05-12T17:22:22Z) - Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion [0.0]
NSD(Neural Sheaf Diffusion)は、スカラーグラフラプラシアンをシーフラプラシアンに置き換えることで、拡散に基づくグラフニューラルネットワークを一般化する。
グラフ上の細胞シーブを関連頻度の表現で同定し,NSDのクイバー理論的解釈を開発する。
そこで本研究では,基礎となる入射平均表現の直和分解が拡散限界に到達した調和空間の分解を誘導することを示す。
論文 参考訳（メタデータ） (2026-05-11T19:41:56Z) - SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
SpaceEvoは3D空間推論のための自己進化型フレームワークである。
16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。
注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
論文 参考訳（メタデータ） (2026-04-15T17:59:12Z) - Latent Semantic Manifolds in Large Language Models [0.0]
本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。
我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。
本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
論文 参考訳（メタデータ） (2026-03-17T13:05:56Z) - Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-16T17:20:38Z) - The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。
局所性と重量共有が根本的に変化していることが示されています。
論文 参考訳（メタデータ） (2026-03-05T04:50:51Z) - Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。
モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
論文 参考訳（メタデータ） (2026-02-04T06:13:11Z) - A Geometric Taxonomy of Hallucinations in LLMs [0.2538209532048866]
大きな言語モデルにおける「幻覚」という用語は、埋め込み空間における異なる幾何学的シグネチャと異なる現象を混同している。
本稿では,不信感,信頼感,事実的誤りの3つのタイプを識別する分類法を提案する。
この貢献は、埋め込みに基づく検出の範囲を明確にした幾何学的分類法である。
論文 参考訳（メタデータ） (2026-01-26T22:07:09Z) - Interpretation as Linear Transformation: A Cognitive-Geometric Model of Belief and Meaning [0.0]
純粋に代数的な制約から,信念の歪曲,モチベーションの漂流,反実的評価,相互理解の限界が生じることを示す。
この認知幾何学的視点は、人間と人工両方のシステムにおける影響の境界を明確にしていると私は主張する。
論文 参考訳（メタデータ） (2025-12-10T17:13:01Z) - Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳（メタデータ） (2025-10-20T21:40:36Z) - Curved Inference: Concern-Sensitive Geometry in Large Language Model Residual Streams [0.0]
本稿では,大言語モデルの残差ストリーム軌跡が意味的関心事の変化に応じてどのように曲げられるかを追跡する幾何学的解釈可能性フレームワークを提案する。
Gemma3-1bとLLaMA3.2-3bを5つのネイティブ空間メトリクスを用いて解析し、曲率(kappa_i)とサリエンス(S(t))に着目した。
いずれのモデルにおいても,アクティベーショントラジェクトリが確実に変更されることが示唆された。
論文 参考訳（メタデータ） (2025-07-08T23:05:00Z) - RelTopo: Multi-Level Relational Modeling for Driving Scene Topology Reasoning [74.58385332488227]
道路トポロジー推論は自動運転にとって重要であり、効率的なナビゲーションと交通規制の遵守を可能にする。
既存の手法は通常、レーン検出またはレーン・トゥ・レーン(L2L)のトポロジー推論(英語版)に重点を置いており、しばしばこれらのタスクを共同で最適化するためにレーン・トゥ・トラッフィック・エレメント(L2T)の関係をテキスト化している。
人間は自然に道路要素認識と接続性推論の文脈的関係を利用するので、リレーショナルモデリングは知覚と推論の両方に有益であると主張する。
論文 参考訳（メタデータ） (2025-06-16T14:40:28Z) - HierRelTriple: Guiding Indoor Layout Generation with Hierarchical Relationship Triplet Losses [52.70183252341687]
本稿では,空間的関係学習に着目した階層型三重項に基づく屋内関係学習手法HierRelTripleを提案する。
階層型リレーショナル三重項モデリングフレームワークであるHierRelTripleを導入する。
非条件レイアウト合成、フロアプラン条件付きレイアウト生成、シーン再構成の実験により、HierRelは空間関係のメトリクスを15%以上改善することを示した。
論文 参考訳（メタデータ） (2025-03-26T07:31:52Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。