論文の概要: Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs

• arxiv url: http://arxiv.org/abs/2507.22286v1
• Date: Tue, 29 Jul 2025 23:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.900796
• Title: Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs
• Title（参考訳）: 意味注入文法:LLMにおける構成の幾何学的表現を形作るグラディエントアクセプティビリティー
• Authors: Supantho Rakshit, Adele Goldberg,
• Abstract要約: 本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 本研究では, Pythia-1.4$B において, 人格的嗜好の強さを体系的に変化させた5000ドルの文対のデータセットを用いて, 英語のDative 構造 (Double Object と Prepositional Object ) のニューラル表現を解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The usage-based constructionist (UCx) approach posits that language comprises a network of learned form-meaning pairings (constructions) whose use is largely determined by their meanings or functions, requiring them to be graded and probabilistic. This study investigates whether the internal representations in Large Language Models (LLMs) reflect the proposed function-infused gradience. We analyze the neural representations of the English dative constructions (Double Object and Prepositional Object) in Pythia-$1.4$B, using a dataset of $5000$ sentence pairs systematically varied for human-rated preference strength. A macro-level geometric analysis finds that the separability between construction representations, as measured by Energy Distance or Jensen-Shannon Divergence, is systematically modulated by gradient preference strength. More prototypical exemplars of each construction occupy more distinct regions in the activation space of LLMs. These results provide strong evidence that LLMs learn rich, meaning-infused, graded representations of constructions and offer support for geometric measures of basic constructionist principles in LLMs.
• Abstract（参考訳）: 使用法に基づくコンストラクタ(UCx)アプローチは、言語が学習された形式意味ペアリング(コンストラクタ)のネットワークを含み、その使用は、その意味や機能によって大きく決定され、それらを格付けし確率的にする必要があることを示唆している。 本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 本研究では, Pythia-1.4$B において, 人格的嗜好の強さを体系的に変化させた5000ドルの文対のデータセットを用いて, 英語のDative 構造 (Double Object と Prepositional Object ) のニューラル表現を解析した。 マクロレベルの幾何学的解析により、エネルギー距離やジェンセン・シャノンの偏差によって測定された構成表現間の分離性は、勾配優先強度によって体系的に変調されることがわかった。 各構成のより原型的な例は、LLMの活性化空間においてより異なる領域を占める。 これらの結果は、LLMが構成の豊かで、意味を注入した、グレード化された表現を学習し、LLMの基本構成主義原理の幾何的測度をサポートするという強い証拠を与える。

関連論文リスト

• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Do Large Language Models Truly Understand Geometric Structures? [15.915781154075615]
  我々はGeomRelデータセットを導入し、大規模言語モデルの幾何学的構造に対する理解を評価する。 我々は,LLMの幾何学的関係を識別する能力を高めるGeometry Chain-of-Thought (GeoCoT)法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:52:34Z)
• Reasoning in Large Language Models: A Geometric Perspective [4.2909314120969855]
  我々は,その幾何学的理解を通して,大規模言語モデル(LLM)の推論能力について検討する。 LLMの表現力と自己認識グラフの密度の関連性を確立する。
  論文  参考訳（メタデータ） (2024-07-02T21:39:53Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。