論文の概要: Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence

• arxiv url: http://arxiv.org/abs/2605.23821v1
• Date: Fri, 22 May 2026 16:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.428155
• Title: Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
• Title（参考訳）: 単語共起から生じる言語モデルにおける階層的概念幾何学
• Authors: Andres Nava, Matthieu Wyart,
• Abstract要約: 本稿では,言語表現におけるハイパーネミーのエンコード方法に関する分布論を提案する。 我々は,Word2vec埋め込みの埋め込み文法行列のスペクトルを理論的に特徴づける。 この結果から,LLMにおける階層的概念幾何学は階層構造固有の機能機構を反映する必要はないことが示唆された。
• 参考スコア（独自算出の注目度）: 9.453554184019108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a distributional theory of how hypernymy -- the ``is-a'' relation between general and specific concepts -- is encoded geometrically in language representations. Starting from the empirically verified assumption that words closer on the WordNet hypernym graph co-occur more often, we characterize theoretically the spectrum of the resulting embedding Gram matrix of word2vec embeddings. Under mild positivity and decay conditions on the co-occurrence kernel, we prove that the leading eigenvectors first separate broad taxonomic branches and then progressively finer sub-branches, producing a \emph{hierarchical splitting geometry} with a coarse-to-fine spectral organization that mirrors the tree. We confirm these predictions in word2vec embeddings across many sampled WordNet subtrees, and show that the same signature extends strikingly well to Gemma 2B unembeddings. Our results indicate that hierarchical concept geometry in LLMs need not reflect a hierarchy-specific functional mechanism, but emerges from the spectral structure of pairwise word statistics.
• Abstract（参考訳）: 一般概念と特定の概念の関係である「is-a」が言語表現において幾何的にエンコードされるかという分布論を提案する。 我々は,WordNetハイパーネムグラフに近接する単語がより頻繁に発生するという経験的確の仮定から,Word2vec埋め込みの結果として生じるグラム行列のスペクトルを理論的に特徴付ける。 共起核上の軽度の陽性条件と崩壊条件の下で、先頭の固有ベクトルが最初は広義の分類学枝を分離し、その後徐々に細分化し、木をミラーする粗いスペクトル構造を持つ \emph{hierarchical splitting geometry} を生成することを証明した。 我々は、これらの予測を、多くのサンプルWordNetサブツリーにまたがる word2vec 埋め込みで確認し、同じシグネチャが Gemma 2B unembeddings に大きく拡張されていることを示す。 この結果から,LLMにおける階層的概念幾何は,階層固有の機能機構を反映する必要はなく,一対の単語統計のスペクトル構造から生じることが示唆された。

関連論文リスト

• OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
  オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。 我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。 オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
  論文  参考訳（メタデータ） (2026-05-07T12:10:07Z)
• The Lattice Representation Hypothesis of Large Language Models [18.00499182102749]
  分離しきい値を持つ線形属性方向は、半空間交叉を通じて概念格子を誘導することを示す。 この幾何学は、幾何学的交叉 (intersection) と結合 (union) 演算による記号的推論を可能にする。
  論文  参考訳（メタデータ） (2026-03-01T18:42:59Z)
• Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings [1.4183971140167244]
  階層型マンバ (HiM) を用いて階層型言語埋め込みを学習する。 HiMは効率的なMamba2と指数関数的な成長と双曲幾何学の曲線の性質を統合している。 両モデルが4つの存在論的データセットの階層的関係を効果的に捉えていることを示す。
  論文  参考訳（メタデータ） (2025-05-25T04:45:06Z)
• The Geometry of Meaning: Perfect Spacetime Representations of Hierarchical Structures [0.0]
  3次元ミンコフスキー時空に階層構造を埋め込む高速アルゴリズムが存在することを示す。 我々の結果は、すべての離散データが3次元の完全な幾何学的表現を持っていることを示唆しているように思われる。
  論文  参考訳（メタデータ） (2025-05-07T20:41:06Z)
• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Spectral embedding and the latent geometry of multipartite networks [47.18054692085814]
  多くのネットワークはマルチパーティイトであり、基本的に異なるタイプのノードを含んでいる。 本稿では,スペクトル埋め込みにより得られるノード表現が,高次元空間のタイプ特異的な低次元部分空間の近傍にあることを示す。 スペクトル埋め込み後の追従ステップとして,周辺次元ではなく固有次元のノード表現を復元する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T15:52:03Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。