論文の概要: Hierarchical Geometry of Cognitive States in Transformer Embedding Spaces
- arxiv url: http://arxiv.org/abs/2512.22227v1
- Date: Tue, 23 Dec 2025 03:37:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:29.90957
- Title: Hierarchical Geometry of Cognitive States in Transformer Embedding Spaces
- Title（参考訳）: 変圧器埋め込み空間における認知状態の階層的幾何学
- Authors: Sophie Zhao,
- Abstract要約: 文の埋め込みは、人間の解釈可能な認知的属性や心理的属性と整合した、段階的、階層的な構造をコードするかどうかを検討する。
連続的な順序エネルギースコアと離散層ラベルを付加した480の自然言語文のデータセットを構築した。
モデル全体では、連続スコアと階層ラベルの両方が確実にデオード可能であり、浅い非線形プローブが一貫した性能向上をもたらす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that transformer-based language models learn rich geometric structure in their embedding spaces, yet the presence of higher-level cognitive organization within these representations remains underexplored. In this work, we investigate whether sentence embeddings encode a graded, hierarchical structure aligned with human-interpretable cognitive or psychological attributes. We construct a dataset of 480 natural-language sentences annotated with continuous ordinal energy scores and discrete tier labels spanning seven ordered cognitive categories. Using fixed sentence embeddings from multiple transformer models, we evaluate the recoverability of these annotations via linear and shallow nonlinear probes. Across models, both continuous scores and tier labels are reliably decodable, with shallow nonlinear probes providing consistent performance gains over linear probes. Lexical TF-IDF baselines perform substantially worse, indicating that the observed structure is not attributable to surface word statistics alone. Nonparametric permutation tests further confirm that probe performance exceeds chance under label-randomization nulls. Qualitative analyses using UMAP visualizations and confusion matrices reveal smooth low-to-high gradients and predominantly adjacent-tier confusions in embedding space. Taken together, these results provide evidence that transformer embedding spaces exhibit a hierarchical geometric organization aligned with human-defined cognitive attributes, while remaining agnostic to claims of internal awareness or phenomenology.
- Abstract（参考訳）: 近年の研究では、トランスフォーマーに基づく言語モデルは、埋め込み空間におけるリッチな幾何学構造を学習するが、これらの表現の中に高いレベルの認知組織が存在することは未解明のままである。
本研究では, 文の埋め込みが人間の解釈可能な認知的属性や心理的属性と整合した, 段階的, 階層的な構造をコードしているかどうかを検討する。
連続的な順序エネルギースコアと、7つの順序付けられた認知カテゴリにまたがる離散層ラベルを付加した480の自然言語文のデータセットを構築した。
複数変圧器モデルからの固定文埋め込みを用いて, 線形および浅層非線形プローブによるアノテーションの復元性を評価する。
モデル全体では、連続的なスコアと階層ラベルは確実にデオード可能であり、浅い非線形プローブは線形プローブよりも一貫した性能をもたらす。
語彙 TF-IDF のベースラインは著しく悪化しており、観測された構造は、表面的な単語統計だけでは帰属しないことを示している。
非パラメトリック置換試験は、ラベルランダム化ヌルの下でプローブ性能がチャンスを超えることをさらに確認する。
UMAPビジュアライゼーションと混乱行列を用いた定性的解析により、埋め込み空間におけるスムーズな低-高勾配と主に隣接層混乱が明らかとなる。
これらの結果は、トランスフォーマーの埋め込み空間が、人間の定義した認知属性と整合した階層的な幾何学的構造を示す一方で、内的認識や現象論の主張に無関係であることを示す証拠となる。
関連論文リスト
- Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。
モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。
木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
論文 参考訳（メタデータ） (2025-12-20T23:08:18Z) - GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。
本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文 参考訳（メタデータ） (2025-11-12T06:48:43Z) - Transformers Are Universally Consistent [14.904264782690639]
ソフトマックスに基づく非線形アテンションを備えたトランスフォーマーは,最小二乗の回帰処理を行う場合,一様に整合性を示す。
我々は経験的誤差の上限を導出し、この条件下では$mathcalO(t-1/2d)$の証明可能な速度で減衰し、$t$は入力トークンの数を表し、$d$は埋め込み次元を表す。
論文 参考訳（メタデータ） (2025-05-30T12:39:26Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - SLA$^2$P: Self-supervised Anomaly Detection with Adversarial
Perturbation [77.71161225100927]
異常検出は、機械学習の基本的な問題であるが、難しい問題である。
本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
論文 参考訳（メタデータ） (2021-11-25T03:53:43Z) - A Non-Linear Structural Probe [43.50268085775569]
本研究では,文脈表現における構文構造の符号化を研究対象とする構造プローブの事例について検討する。
構造プローブが計量を学習するのを観察して、それをカーネル化し、新しい非線形変種を開発することができる。
我々は6つの言語でテストを行い、ラジアル基底関数(RBF)カーネルが正規化とともに統計的に有意な改善が得られた。
論文 参考訳（メタデータ） (2021-05-21T07:53:10Z) - The Low-Dimensional Linear Geometry of Contextualized Word
Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。
様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文 参考訳（メタデータ） (2021-05-15T00:58:08Z) - Syntactic Perturbations Reveal Representational Correlates of
Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。
このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
論文 参考訳（メタデータ） (2021-04-15T16:30:31Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。