論文の概要: Semantic Structure of Feature Space in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.27169v1
• Date: Wed, 29 Apr 2026 20:17:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.793202
• Title: Semantic Structure of Feature Space in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける特徴空間の意味構造
• Authors: Austin C. Kozlowski, Andrei Boutyline,
• Abstract要約: 大規模言語モデルにおける意味的特徴間の幾何学的関係は、人間の心理的関連を密接に反映していることを示す。 我々は360ワードに対応する特徴ベクトルを構築し,32個の意味軸上に投影する。 これらの予測は,それぞれの意味尺度における単語の人間の評価と高い相関関係があることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that the geometric relations between semantic features in large language models' hidden states closely mirror human psychological associations. We construct feature vectors corresponding to 360 words and project them on 32 semantic axes (e.g. beautiful-ugly, soft-hard), and find that these projections correlate highly with human ratings of those words on the respective semantic scales. Second, we find that the cosine similarities between the semantic axes themselves are highly predictive of the correlations between these scales in the survey. Third, we show that substantial variance across the 32 semantic axes lies on a low-dimensional subspace, reproducing patterns typical of human semantic associations. Finally, we demonstrate that steering a word on one semantic axis causes spillover effects on the model's rating of that word on other semantic scales proportionate to the cosine similarity between those semantic axes. These findings suggest that features should be understood not only in isolation but through their geometric relations and the meaningful subspaces they form.
• Abstract（参考訳）: 本研究では,大規模言語モデルの隠れ状態における意味的特徴間の幾何学的関係が,人間の心理的関連を密接に反映していることを示す。 我々は360ワードに対応する特徴ベクトルを構築し、32の意味軸(例えば、美しく、柔らかい硬さ)に投影し、これらの投影が各意味尺度上のそれらの単語の人間の評価と高い相関関係があることを見出した。 第2に, セマンティック軸間のコサイン類似性は, 調査におけるこれらのスケール間の相関関係を高い精度で予測できることを見出した。 第3に、32のセマンティック軸間の大きなばらつきは、人間のセマンティックアソシエーションに典型的なパターンを再現する低次元部分空間にあることを示す。 最後に、ある意味軸上で単語を操ることによって、その単語の他の意味尺度に対する評価が、それらの意味軸間のコサイン類似度に比例して、その単語の余剰効果をもたらすことを示す。 これらの知見は、特徴は孤立しただけでなく、それらの幾何学的関係とそれらが形成する意味的な部分空間を通して理解されるべきであることを示している。

関連論文リスト

• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• Semantic Structure in Large Language Model Embeddings [0.0]
  心理学的な研究は、人間の単語の格付けが、情報損失が比較的少ない低次元の形式に還元できることを一貫して発見している。 アントロニムペアによって定義される意味的方向の単語の投影は、人間の評価と高く相関していることを示す。 1つの意味的方向に沿ったトークンのシフトは、そのコサインの類似性に比例した幾何学的に整列した特徴に対して、ターゲット外の効果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2025-08-04T20:21:50Z)
• The Shape of Word Embeddings: Quantifying Non-Isometry With Topological Data Analysis [10.242373477945376]
  我々は、トポロジカルデータ解析から永続的ホモロジーを用いて、ラベルなし埋め込みの形状から言語ペア間の距離を測定する。 これらの違いが無作為な訓練誤りなのか、それとも言語に関する実情報なのかを識別するために、計算された距離行列を用いて81のインド・ヨーロッパ語に言語系統木を構築する。
  論文  参考訳（メタデータ） (2024-03-30T23:51:25Z)
• Spoken Word2Vec: Learning Skipgram Embeddings from Speech [0.8901073744693314]
  本研究では,入力単位が音響的に相関している場合に,スワップスキップグラムのようなアルゴリズムが分布意味論を符号化できないことを示す。 そこで本研究では,モデルのエンド・ツー・エンドの代替案の可能性を説明し,その結果の埋め込みへの影響について検討する。
  論文  参考訳（メタデータ） (2023-11-15T19:25:29Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Lexical semantics enhanced neural word embeddings [4.040491121427623]
  階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。 その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-03T08:10:23Z)
• Evaluation of taxonomic and neural embedding methods for calculating semantic similarity [0.0]
  分類学的類似度尺度と分布的類似度尺度のメカニズムについて検討する。 分類学的類似度尺度は、意味的類似度を予測するための素因として、最短経路長に依存する可能性がある。 類似性予測における概念関係と神経埋め込みの相乗効果は、伝達学習における知識ベースを活用する新しい傾向を示す可能性がある。
  論文  参考訳（メタデータ） (2022-09-30T02:54:21Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
  オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。 画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。 本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
  論文  参考訳（メタデータ） (2020-07-19T01:35:08Z)
• Human Correspondence Consensus for 3D Object Semantic Understanding [56.34297279246823]
  本稿では,CorresPondenceNetという新しいデータセットを提案する。 このデータセットに基づいて、新しい測地的整合性損失を伴う密接なセマンティック埋め込みを学習することができる。 CorresPondenceNetは異種オブジェクトの細粒度理解を促進できるだけでなく、クロスオブジェクト登録や部分オブジェクトマッチングも実現できた。
  論文  参考訳（メタデータ） (2019-12-29T04:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。