論文の概要: On the Persistent Effects of Lexicality in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.02750v2
• Date: Wed, 03 Jun 2026 18:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 19:21:33.092671
• Title: On the Persistent Effects of Lexicality in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける語彙の持続的影響について
• Authors: Hammad Rizwan, Muhammad Umair Haider, Nishant Subramani, Mona T. Diab, A. B. Siddique, Hassan Sajjad,
• Abstract要約: 大規模言語モデル(LLM)における意味的内容に対する語彙重なりの効果を定量化する。 語彙的影響はモデルの深さにまたがって広がり、一貫してアーキテクチャ、トレーニング体制、客観的機能にまたがっている。 語彙信号と意味信号の両方が同時に劣化する中深度領域を観察し、表象が表象と意味の両方に乏しい遷移状態を示す。
• 参考スコア（独自算出の注目度）: 19.762746965467635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representations extracted from large language models (LLMs) play an important role in many downstream applications. However, the structure of these representations is often influenced by lexical overlap rather than semantic content. Our understanding of the relationship between this lexical influence and semantic content, and its implications for downstream tasks, remains limited. In this work, we investigate representations to quantify the effect of lexical overlap relative to semantic content. We consider several adversarial semantic stress tests and further connect our findings to the information theory perspective. We find that lexical influence extends across the depth of models, consistently across architectures, training regimes, and objective functions, including the models trained for semantic similarity. Moreover, we observe a mid-depth region in which both lexical and semantic signals degrade simultaneously, indicating a transitional regime where representations are poor for both surface form and meaning. We further demonstrate the effect of lexical influence on downstream uses of LLMs using summarization and model editing as a case study.
• Abstract（参考訳）: 大規模言語モデル(LLM)から抽出された表現は、多くの下流アプリケーションにおいて重要な役割を果たす。 しかし、これらの表現の構造は意味的内容よりも語彙的重複に影響されることが多い。 この語彙的影響と意味的内容との関係の理解と、下流のタスクに対する意味の理解は、いまだに限られている。 本研究では,意味的内容に対する語彙重なりの効果を定量化するための表現について検討する。 いくつかの対角的セマンティックストレステストについて考察し,さらに情報理論の観点から考察する。 語彙の影響は、アーキテクチャやトレーニング体制、目的関数など、セマンティックな類似性のために訓練されたモデルを含むモデルの奥行きにわたって、一貫して広がっています。 さらに、語彙信号と意味信号の両方が同時に劣化する中深度領域を観察し、表象が表象と意味の両方に乏しい遷移状態を示す。 さらに,要約とモデル編集を事例として,LLMの下流利用に対する語彙の影響を示す。

関連論文リスト

• Beyond Via: Analysis and Estimation of the Impact of Large Language Models in Academic Papers [10.297544444218685]
  大規模言語モデル(LLM)によって駆動される可能性のある単語使用量の変化について報告する。 実験により、現在の分類器は、複数のクラス分類タスクにおいて、与えられたテキストを生成する特定のモデルを正確に決定するのに苦労していることが示された。
  論文  参考訳（メタデータ） (2026-03-26T16:49:00Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Abstract Activation Spaces for Content-Invariant Reasoning in Large Language Models [28.102903742881576]
  本稿では,構造的推論を語彙的意味論から明確に分離する抽象誘導推論フレームワークを提案する。 本稿では,抽象化整合型ステアリングがコンテンツ駆動型エラーを低減し,妥当性に敏感な性能を向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:48:44Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation [0.0]
  語彙意味論は、単語が異なる文脈で採用できる複数の感覚と、異なる単語の意味の間に存在する意味的関係の両方に関係している。 それらを調べるために、コンテキスト対応言語モデル(Contextualized Language Models)は、コンテキストに敏感な表現を提供する貴重なツールである。 単語間シナリオを含む拡張である概念差分法を提案する。
  論文  参考訳（メタデータ） (2025-08-06T14:43:22Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis [13.07356367140208]
  自然言語推論のための新しい診断データセットであるDistNLIを紹介する。 モデルの理解の範囲は、モデルのサイズと語彙のサイズと関連していることがわかった。
  論文  参考訳（メタデータ） (2022-09-11T00:33:28Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。