論文の概要: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- arxiv url: http://arxiv.org/abs/2607.16741v1
- Date: Sat, 18 Jul 2026 10:03:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.251017
- Title: The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
- Title（参考訳）: 真理方向の解剖:知識依存次元、関係法則、および小言語モデルにおける収束カテゴリー幾何学
- Abstract要約: 大規模言語モデルにおける真理表現は、ステートメントの極性を越えて普遍的であるが、多次元部分空間内に存在することを示す。
サブスペースの次元は、どのアーキテクチャコンポーネントが真理の方向を構築するか、そして何の方向が混在しているかというモデルの知識にどのように依存するか。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bürger et al. (2024) demonstrated that truth representations in large language models are universal across statement polarity but reside within a multidimensional subspace. We extend that framework along three questions: how the dimensionality of the subspace depends on the model's knowledge, which architectural component builds the truth direction, and what the direction is a mixture of. In Part I (one model), a training-free directional probe derived from the SVD of hidden-state minimal pairs shows that the dimensionality of truth is knowledge-dependent: the signal is concentrated on a single axis for behaviorally known facts (held-out AUC 0.938) and becomes diffuse as knowledge decreases or material heterogeneity increases; seven falsification experiments sustain the one-dimensional reading, and the same decomposition recovers the supervised polarity direction of Bürger et al. at cosine 0.959 without polarity labels. In Part II (four base models, two families, pre-registered predictions), a relational law emerges: attention propagates truth frames it did not write, the feed-forward network opposes the frame of its current block, and the genuine post-peak decay is causally attributed on all four models to the SwiGLU value stream; per-category truth axes form a semantically signed arrangement that contradicts the lexical surface and converges across families (Mantel p = 0.0009). Stress tests at three scales (33 categories, 888 pairs per relation, six sampling seeds) expose a sign instability of the per-category orientation, repair it with a declared spectral consensus gauge, and sharpen the convergence into a knowledge-gated law, strengthening from +0.42 on dense mixed-knowledge material to +0.74 on knowledge-restricted categories: the geometry of the mixture belongs to the knowledge domain rather than to the architecture.
- Abstract（参考訳）: Bürger et al (2024) は、大きな言語モデルの真理表現がステートメント極性を越えて普遍的であるが、多次元部分空間内に存在することを示した。
サブスペースの次元性はモデルの知識にどのように依存するか、どのアーキテクチャコンポーネントが真理の方向を構築しているか、その方向が混在しているか、という3つの質問に沿って、このフレームワークを拡張します。
第1部(1モデル)では、隠れ状態の最小対のSVDから導かれる訓練のない指向性プローブは、真理の次元性は知識に依存していることを示す: 信号は行動的に既知の事実(AUC 0.938)の単一の軸に集中し、知識の減少や物質的不均一性が増加するにつれて拡散する; 7つのファルシフィケーション実験は1次元の読みを保ち、同じ分解は、Bürgerらによる極性ラベルのないコサイン0.959での監督的極性方向を復元する。
パートII(4つのベースモデル、2つのファミリー、事前登録された予測)では、関係法が出現する: 注意が書かれていない真理フレームを伝播し、フィードフォワードネットワークは現在のブロックのフレームに反し、真のポストピーク崩壊は4つのモデル全てに因果的にSwiGLU値ストリームに起因している; カテゴリごとの真理軸は、語彙面と矛盾し、家族間で収束する意味的に署名された配列を形成する(マンテル p = 0.0009)。
3つのスケール(33のカテゴリ、888対の関連関係、6つのサンプリングシード)での応力試験は、カテゴリごとの配向の符号不安定性を露呈し、宣言されたスペクトルコンセンサスゲージで修復し、知識付き法則への収束を鋭くし、密度の高い混合知識材料において+0.42から+0.74まで強化する:混合物の幾何学はアーキテクチャよりも知識領域に属する。
関連論文リスト
- Geometric Factual Recall in Transformers [57.48371649045765]
一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。
我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。
単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。
これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
論文 参考訳（メタデータ） (2026-05-12T17:22:22Z) - Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion [0.0]
NSD(Neural Sheaf Diffusion)は、スカラーグラフラプラシアンをシーフラプラシアンに置き換えることで、拡散に基づくグラフニューラルネットワークを一般化する。
グラフ上の細胞シーブを関連頻度の表現で同定し,NSDのクイバー理論的解釈を開発する。
そこで本研究では,基礎となる入射平均表現の直和分解が拡散限界に到達した調和空間の分解を誘導することを示す。
論文 参考訳（メタデータ） (2026-05-11T19:41:56Z) - SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
SpaceEvoは3D空間推論のための自己進化型フレームワークである。
16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。
注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
論文 参考訳（メタデータ） (2026-04-15T17:59:12Z) - Latent Semantic Manifolds in Large Language Models [0.0]
本研究では,大規模言語モデルに隠れた状態を潜在意味多様体上の点として解釈する数学的枠組みを開発する。
我々は2つの定理を証明し、任意の有限語彙に対する歪みに対する速度歪みの低い境界と、表現可能性ギャップに対する線形体積スケーリング法則を証明した。
本稿では,アーキテクチャ設計,モデル圧縮,復号化戦略,スケーリング法則について論じる。
論文 参考訳（メタデータ） (2026-03-17T13:05:56Z) - Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-16T17:20:38Z) - The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。
局所性と重量共有が根本的に変化していることが示されています。
論文 参考訳（メタデータ） (2026-03-05T04:50:51Z) - Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。
モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
論文 参考訳（メタデータ） (2026-02-04T06:13:11Z) - A Geometric Taxonomy of Hallucinations in LLMs [0.2538209532048866]
大きな言語モデルにおける「幻覚」という用語は、埋め込み空間における異なる幾何学的シグネチャと異なる現象を混同している。
本稿では,不信感,信頼感,事実的誤りの3つのタイプを識別する分類法を提案する。
この貢献は、埋め込みに基づく検出の範囲を明確にした幾何学的分類法である。
論文 参考訳（メタデータ） (2026-01-26T22:07:09Z) - Interpretation as Linear Transformation: A Cognitive-Geometric Model of Belief and Meaning [0.0]
純粋に代数的な制約から,信念の歪曲,モチベーションの漂流,反実的評価,相互理解の限界が生じることを示す。
この認知幾何学的視点は、人間と人工両方のシステムにおける影響の境界を明確にしていると私は主張する。
論文 参考訳（メタデータ） (2025-12-10T17:13:01Z) - Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。
低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。
文献に現れる異種の経験的所見を総合的に検討した。
論文 参考訳（メタデータ） (2025-10-20T21:40:36Z) - Curved Inference: Concern-Sensitive Geometry in Large Language Model Residual Streams [0.0]
本稿では,大言語モデルの残差ストリーム軌跡が意味的関心事の変化に応じてどのように曲げられるかを追跡する幾何学的解釈可能性フレームワークを提案する。
Gemma3-1bとLLaMA3.2-3bを5つのネイティブ空間メトリクスを用いて解析し、曲率(kappa_i)とサリエンス(S(t))に着目した。
いずれのモデルにおいても,アクティベーショントラジェクトリが確実に変更されることが示唆された。
論文 参考訳（メタデータ） (2025-07-08T23:05:00Z) - RelTopo: Multi-Level Relational Modeling for Driving Scene Topology Reasoning [74.58385332488227]
道路トポロジー推論は自動運転にとって重要であり、効率的なナビゲーションと交通規制の遵守を可能にする。
既存の手法は通常、レーン検出またはレーン・トゥ・レーン(L2L)のトポロジー推論(英語版)に重点を置いており、しばしばこれらのタスクを共同で最適化するためにレーン・トゥ・トラッフィック・エレメント(L2T)の関係をテキスト化している。
人間は自然に道路要素認識と接続性推論の文脈的関係を利用するので、リレーショナルモデリングは知覚と推論の両方に有益であると主張する。
論文 参考訳（メタデータ） (2025-06-16T14:40:28Z) - HierRelTriple: Guiding Indoor Layout Generation with Hierarchical Relationship Triplet Losses [52.70183252341687]
本稿では,空間的関係学習に着目した階層型三重項に基づく屋内関係学習手法HierRelTripleを提案する。
階層型リレーショナル三重項モデリングフレームワークであるHierRelTripleを導入する。
非条件レイアウト合成、フロアプラン条件付きレイアウト生成、シーン再構成の実験により、HierRelは空間関係のメトリクスを15%以上改善することを示した。
論文 参考訳（メタデータ） (2025-03-26T07:31:52Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。