論文の概要: Differential syntactic and semantic encoding in LLMs

• arxiv url: http://arxiv.org/abs/2601.04765v1
• Date: Thu, 08 Jan 2026 09:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.138686
• Title: Differential syntactic and semantic encoding in LLMs
• Title（参考訳）: LLMにおける差分構文と意味的エンコーディング
• Authors: Santiago Acevedo, Alessandro Laio, Marco Baroni,
• Abstract要約: 我々は,Large Language Models (LLMs) の内部層表現において,統語的・意味的情報を符号化する方法を検討する。 構文と意味論の層間符号化プロファイルは異なっており,この2つの信号はある程度分離可能であることが判明した。
• 参考スコア（独自算出の注目度）: 49.300174325011426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how syntactic and semantic information is encoded in inner layer representations of Large Language Models (LLMs), focusing on the very large DeepSeek-V3. We find that, by averaging hidden-representation vectors of sentences sharing syntactic structure or meaning, we obtain vectors that capture a significant proportion of the syntactic and semantic information contained in the representations. In particular, subtracting these syntactic and semantic ``centroids'' from sentence vectors strongly affects their similarity with syntactically and semantically matched sentences, respectively, suggesting that syntax and semantics are, at least partially, linearly encoded. We also find that the cross-layer encoding profiles of syntax and semantics are different, and that the two signals can to some extent be decoupled, suggesting differential encoding of these two types of linguistic information in LLM representations.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) の内部層表現において,非常に大きなDeepSeek-V3に焦点をあてて,統語的・意味的な情報がどのように符号化されるかを検討する。 構文構造や意味を共有する文の隠れ表現ベクトルを平均化することにより、表現に含まれる統語的・意味的な情報のかなりの割合を捉えるベクトルが得られる。 特に、これらの構文的・意味的な「セントロイド」を文ベクトルから抽出することは、それぞれ構文的・意味的に一致した文との類似性に強く影響し、構文と意味論は少なくとも部分的には線形に符号化されていることを示唆している。 また、構文と意味の層間符号化プロファイルが異なること、および2つの信号がある程度分離可能であること、LLM表現におけるこれらの2種類の言語情報の差分符号化が提案されている。

関連論文リスト

• Understanding Subword Compositionality of Large Language Models [42.51978887170929]
  大規模言語モデル(LLM)はサブワードのシーケンスを入力として取り、サブワード表現を構成する必要がある。 本稿では,LLMがサブワード情報を構成する方法を検討するための総合的な実験について述べる。
  論文  参考訳（メタデータ） (2025-08-25T12:16:56Z)
• Semantic Structure in Large Language Model Embeddings [0.0]
  心理学的な研究は、人間の単語の格付けが、情報損失が比較的少ない低次元の形式に還元できることを一貫して発見している。 アントロニムペアによって定義される意味的方向の単語の投影は、人間の評価と高く相関していることを示す。 1つの意味的方向に沿ったトークンのシフトは、そのコサインの類似性に比例した幾何学的に整列した特徴に対して、ターゲット外の効果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2025-08-04T20:21:50Z)
• A quantitative analysis of semantic information in deep representations of text and images [42.597592429757746]
  本稿では,意味的関連データの表現の相対的情報量を測定する手法を提案する。 大規模言語モデル(LLM)と視覚変換器の複数のトークンにエンコードする方法を探索する。 我々は、画像とテキストの表現の間に有意かつモデルに依存した情報非対称性を観察する。
  論文  参考訳（メタデータ） (2025-05-21T07:38:48Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。