論文の概要: Semantic Structure in Large Language Model Embeddings

• arxiv url: http://arxiv.org/abs/2508.10003v1
• Date: Mon, 04 Aug 2025 20:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-17 22:58:06.191153
• Title: Semantic Structure in Large Language Model Embeddings
• Title（参考訳）: 大規模言語モデル埋め込みにおける意味構造
• Authors: Austin C. Kozlowski, Callin Dai, Andrei Boutyline,
• Abstract要約: 心理学的な研究は、人間の単語の格付けが、情報損失が比較的少ない低次元の形式に還元できることを一貫して発見している。 アントロニムペアによって定義される意味的方向の単語の投影は、人間の評価と高く相関していることを示す。 1つの意味的方向に沿ったトークンのシフトは、そのコサインの類似性に比例した幾何学的に整列した特徴に対して、ターゲット外の効果をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Psychological research consistently finds that human ratings of words across diverse semantic scales can be reduced to a low-dimensional form with relatively little information loss. We find that the semantic associations encoded in the embedding matrices of large language models (LLMs) exhibit a similar structure. We show that the projections of words on semantic directions defined by antonym pairs (e.g. kind - cruel) correlate highly with human ratings, and further find that these projections effectively reduce to a 3-dimensional subspace within LLM embeddings, closely resembling the patterns derived from human survey responses. Moreover, we find that shifting tokens along one semantic direction causes off-target effects on geometrically aligned features proportional to their cosine similarity. These findings suggest that semantic features are entangled within LLMs similarly to how they are interconnected in human language, and a great deal of semantic information, despite its apparent complexity, is surprisingly low-dimensional. Furthermore, accounting for this semantic structure may prove essential for avoiding unintended consequences when steering features.
• Abstract（参考訳）: 心理学的な研究は、多種多様な意味尺度にわたる単語の人間の格付けが、情報損失が比較的少ない低次元の形式に還元できることを一貫して発見している。 大規模言語モデル (LLM) の埋め込み行列に符号化された意味的関連は類似した構造を示す。 アントロニム対 (eg kind - cruel) で定義される意味的方向の単語の投影は人間の評価と高く相関し, さらに, これらの投影はLLM埋め込みの3次元部分空間に効果的に減少し, 人間の調査結果から得られたパターンとよく似ていることがわかった。 さらに,1つの意味方向に沿ったトークンのシフトは,コサインの類似性に比例した幾何学的に整列した特徴に対して,標的外の影響をもたらすことが判明した。 これらの結果から, 意味的特徴は人間の言語と相互に結びついているのと同様, LLM内に絡み合っていることが示唆された。 さらに、この意味構造を説明することは、特徴を操る際に意図しない結果を避けるのに不可欠である。

関連論文リスト

• Differential syntactic and semantic encoding in LLMs [49.300174325011426]
  我々は,Large Language Models (LLMs) の内部層表現において,統語的・意味的情報を符号化する方法を検討する。 構文と意味論の層間符号化プロファイルは異なっており,この2つの信号はある程度分離可能であることが判明した。
  論文  参考訳（メタデータ） (2026-01-08T09:33:29Z)
• Bridging the Semantic Gap for Categorical Data Clustering via Large Language Models [64.58262227709842]
  ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)が紹介される。 正確なクラスタリングのためにカテゴリデータのメトリック空間を補完するセマンティックアウェア表現を構築する。 8つのベンチマークデータセットの実験では、7つの代表的なデータセットよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-03T11:37:46Z)
• Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability [31.30541946703775]
  モデルの内部表現と計算を人間が理解できる概念に変換することが、解釈可能性の重要な目標である。 スパースオートエンコーダのような最近の辞書学習手法は、人間の解釈可能な特徴を発見するための有望な経路を提供する。 しかし、彼らは「文の始めの「The」というフレーズ」のような浅い、トークン特有の、または騒々しい特徴に偏りを呈している。
  論文  参考訳（メタデータ） (2025-10-30T17:59:30Z)
• Discovering Semantic Subdimensions through Disentangled Conceptual Representations [38.66662397064128]
  本稿では, 粗粒度セマンティックディメンションの基礎となるサブディメンジョンを解明するための新しい枠組みを提案する。 本稿では,大言語モデルから複数のサブ埋め込みへの単語埋め込みを分解するDCSRM(Disentangled Continuous Representation Model)を提案する。 これらのサブエンベディングを用いて、解釈可能なセマンティックサブ次元の集合を同定する。 我々の研究は、概念的意味のよりきめ細かな解釈可能な意味のサブディメンジョンを提供する。
  論文  参考訳（メタデータ） (2025-08-29T09:04:34Z)
• Large Language Models Encode Semantics in Low-Dimensional Linear Subspaces [31.401762286885656]
  大規模言語モデル(LLM)の空間幾何学を理解することは、それらの振る舞いを解釈し、アライメントを改善する鍵となる。 baturay LLMが意味理解に関連する内部的な組織構造を調査する。
  論文  参考訳（メタデータ） (2025-07-13T17:03:25Z)
• From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning [52.32745233116143]
  人間は知識をセマンティック圧縮によってコンパクトなカテゴリに分類する。 大規模言語モデル(LLM)は、顕著な言語能力を示す。 しかし、その内部表現が、圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかるかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-05-21T16:29:00Z)
• From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs [47.52062992606549]
  語彙意味ネットワークは単語をノードとして表現し、意味的関連性はエッジとして表現する。 我々はデコーダのみの大規模言語モデルの入力埋め込みからレキシコ・セマンティックネットワークを構築する。 以上の結果から,これらのネットワークは,クラスタリングと短経路長が特徴である小世界特性を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-17T02:52:07Z)
• A polar coordinate system represents syntax in large language models [12.244752597245645]
  構文木は、大きな言語モデルの活性化において効果的に表されることもある。 単語埋め込み間の距離と方向の両方から統語的関係を読み取るために訓練された「Polar Probe」を導入する。 まず、私たちの極性プローブは、構文関係のタイプと方向を回復し、構造プローブをほぼ2倍に大きく上回っています。
  論文  参考訳（メタデータ） (2024-12-07T07:37:20Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Lexical semantics enhanced neural word embeddings [4.040491121427623]
  階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。 その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-03T08:10:23Z)
• CLINE: Contrastive Learning with Semantic Negative Examples for Natural Language Understanding [35.003401250150034]
  本稿では,事前学習した言語モデルの堅牢性を改善するために,セマントIc負例を用いたコントラスト学習を提案する。 CLINEは、意味論的敵対攻撃下での堅牢性を改善するために、教師なしの意味論的ネガティブな例を構築している。 実験結果から,本手法は感情分析,推論,読解作業において大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-07-01T13:34:12Z)
• Human Correspondence Consensus for 3D Object Semantic Understanding [56.34297279246823]
  本稿では,CorresPondenceNetという新しいデータセットを提案する。 このデータセットに基づいて、新しい測地的整合性損失を伴う密接なセマンティック埋め込みを学習することができる。 CorresPondenceNetは異種オブジェクトの細粒度理解を促進できるだけでなく、クロスオブジェクト登録や部分オブジェクトマッチングも実現できた。
  論文  参考訳（メタデータ） (2019-12-29T04:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。