論文の概要: Relation Geometry in Semantic Space of Language Models

• arxiv url: http://arxiv.org/abs/2607.26762v1
• Date: Wed, 29 Jul 2026 11:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.645823
• Title: Relation Geometry in Semantic Space of Language Models
• Title（参考訳）: 言語モデルの意味空間における関係幾何学
• Abstract要約: 意味空間の関係幾何学を3つの視点から研究する。 まず、目的語と特定の関係にある単語が意味空間において同じ領域を占めるかどうかを検討する。 すると、セマンティック空間が対称性、非対称性、推移性といった関係のよく知られた性質をどの程度反映しているかを検証する。
• 参考スコア（独自算出の注目度）: 35.765722891808586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When it comes to generating vector representations of words, current language models are achieving high-quality results. However, what is not known is the extent to which knowledge about semantic relations is represented in the geometry of the semantic spaces created in this way. In order to answer this question, we study the relation geometry of such semantic spaces from three perspectives. We first examine whether words standing in a particular relation to a target word~(called relata) occupy the same region in semantic space, and whether the regions corresponding to different relations are distinct from each other. We then verify to what extent semantic spaces reflect certain well-known properties of relations, such as symmetry, asymmetry, and transitivity. Finally, we consider which information about the target words and relata is more important for relation geometry: their surface forms, or their contexts. We conduct experiments on six semantic relations using causal, masked, and diffusion language models. The results show that relata in asymmetric relations relatively clearly occupy a distinct region in semantic space. Asymmetric relations' properties are only moderately well encoded in the semantic space, yet better than those of symmetric ones. Furthermore, when considering the question which information source has the strongest impact on results amongst the models we evaluated, we find that lexical information tends to be more important for the causal language model, whereas contextual information is more important for the masked and diffusion language models. Our results empirically show that relation geometry is not equally well-represented for all relations in semantic space, suggesting that there is a difference in how well semantic relations might be learned from distributional information alone.
• Abstract（参考訳）: 単語のベクトル表現を生成する場合、現在の言語モデルは高品質な結果が得られる。 しかし、この方法で作成された意味空間の幾何学において意味的関係に関する知識がどの程度表現されるかは分かっていない。 この疑問に答えるために、このような意味空間の関係幾何学を3つの視点から研究する。 まず,目的語~(レラタと呼ぶ)と特定の関係にある単語が,意味空間において同じ領域を占めるか,異なる関係に対応する領域が互いに異なるかを検討する。 すると、セマンティック空間が対称性、非対称性、推移性といった関係のよく知られた性質をどの程度反映しているかを検証する。 最後に, 目的語とララタに関するどの情報が, 関係幾何学, 表面形状, 文脈においてより重要であるかを考える。 我々は、因果関係、マスキング、拡散言語モデルを用いた6つの意味関係の実験を行った。 その結果、非対称関係のレラタは意味空間の異なる領域を比較的はっきりと占めていることがわかった。 非対称関係の性質は意味空間においてのみ適度に符号化されるが、対称関係の性質よりは優れている。 さらに、評価したモデルのうち、どの情報ソースが結果に最も影響を与えるかという問題を考えると、語彙情報は因果言語モデルにとってより重要である傾向にあるのに対し、文脈情報はマスキングおよび拡散言語モデルにおいてより重要であることが分かる。 その結果、関係幾何学は意味空間におけるすべての関係に対して等しく表現されていないことが実証的に示され、分布情報のみから意味関係がどの程度うまく学習されるかが異なることが示唆された。

関連論文リスト

• See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning [52.52121389921707]
  2視点対応学習は、画像対における真対応(インレーシ)と偽対応(インレーシ)とを区別することを目的としている。 既存の手法は主に座標に基づく幾何の整合性に依存する。 本稿では,2視点対応学習のためのマルチソース機能融合フレームワークTriMatchを提案する。
  論文  参考訳（メタデータ） (2026-06-08T09:33:01Z)
• Semantic Structure of Feature Space in Large Language Models [0.0]
  大規模言語モデルにおける意味的特徴間の幾何学的関係は、人間の心理的関連を密接に反映していることを示す。 我々は360ワードに対応する特徴ベクトルを構築し,32個の意味軸上に投影する。 これらの予測は,それぞれの意味尺度における単語の人間の評価と高い相関関係があることが判明した。
  論文  参考訳（メタデータ） (2026-04-29T20:17:43Z)
• Semantic Structure in Large Language Model Embeddings [0.0]
  心理学的な研究は、人間の単語の格付けが、情報損失が比較的少ない低次元の形式に還元できることを一貫して発見している。 アントロニムペアによって定義される意味的方向の単語の投影は、人間の評価と高く相関していることを示す。 1つの意味的方向に沿ったトークンのシフトは、そのコサインの類似性に比例した幾何学的に整列した特徴に対して、ターゲット外の効果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2025-08-04T20:21:50Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Discovering Fine-Grained Semantics in Knowledge Graph Relations [5.619233302594469]
  異なるタイプのエンティティ間の多文の関係は、複数の意味論を表す。 エンティティタイプ分類、質問応答、知識グラフ補完などの多くのユースケースでは、正しい意味解釈が必要である。 本稿では,抽象的関係に関連する異なる意味を発見するための戦略を提案し,細かな意味を持つ多くの部分関係を導出する。
  論文  参考訳（メタデータ） (2022-02-17T22:05:41Z)
• Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
  オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。 画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。 本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
  論文  参考訳（メタデータ） (2020-07-19T01:35:08Z)
• Geometry of Similarity Comparisons [51.552779977889045]
  空間形式の順序容量は、その次元と曲率の符号に関係していることを示す。 さらに重要なことは、類似性グラフ上で定義された順序拡散確率変数の統計的挙動が、その基礎となる空間形式を特定するのに利用できることである。
  論文  参考訳（メタデータ） (2020-06-17T13:37:42Z)
• Synonymy = Translational Equivalence [6.198307677263333]
  同義語と翻訳の等価性は、言語内および言語間における意味の同義性の関係である。 本稿では,これらの2つの関係を統一的に扱うことを提案する。
  論文  参考訳（メタデータ） (2020-04-28T23:15:02Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。