論文の概要: Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs

• arxiv url: http://arxiv.org/abs/2507.22286v1
• Date: Tue, 29 Jul 2025 23:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.900796
• Title: Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs
• Title（参考訳）: 意味注入文法:LLMにおける構成の幾何学的表現を形作るグラディエントアクセプティビリティー
• Authors: Supantho Rakshit, Adele Goldberg,
• Abstract要約: 本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 本研究では, Pythia-1.4$B において, 人格的嗜好の強さを体系的に変化させた5000ドルの文対のデータセットを用いて, 英語のDative 構造 (Double Object と Prepositional Object ) のニューラル表現を解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The usage-based constructionist (UCx) approach posits that language comprises a network of learned form-meaning pairings (constructions) whose use is largely determined by their meanings or functions, requiring them to be graded and probabilistic. This study investigates whether the internal representations in Large Language Models (LLMs) reflect the proposed function-infused gradience. We analyze the neural representations of the English dative constructions (Double Object and Prepositional Object) in Pythia-$1.4$B, using a dataset of $5000$ sentence pairs systematically varied for human-rated preference strength. A macro-level geometric analysis finds that the separability between construction representations, as measured by Energy Distance or Jensen-Shannon Divergence, is systematically modulated by gradient preference strength. More prototypical exemplars of each construction occupy more distinct regions in the activation space of LLMs. These results provide strong evidence that LLMs learn rich, meaning-infused, graded representations of constructions and offer support for geometric measures of basic constructionist principles in LLMs.
• Abstract（参考訳）: 使用法に基づくコンストラクタ(UCx)アプローチは、言語が学習された形式意味ペアリング(コンストラクタ)のネットワークを含み、その使用は、その意味や機能によって大きく決定され、それらを格付けし確率的にする必要があることを示唆している。 本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 本研究では, Pythia-1.4$B において, 人格的嗜好の強さを体系的に変化させた5000ドルの文対のデータセットを用いて, 英語のDative 構造 (Double Object と Prepositional Object ) のニューラル表現を解析した。 マクロレベルの幾何学的解析により、エネルギー距離やジェンセン・シャノンの偏差によって測定された構成表現間の分離性は、勾配優先強度によって体系的に変調されることがわかった。 各構成のより原型的な例は、LLMの活性化空間においてより異なる領域を占める。 これらの結果は、LLMが構成の豊かで、意味を注入した、グレード化された表現を学習し、LLMの基本構成主義原理の幾何的測度をサポートするという強い証拠を与える。

関連論文リスト

• Vector Ontologies as an LLM world view extraction method [0.0]
  大きな言語モデル(LLM)は、世界の複雑な内部表現を持っているが、これらの構造は、元の予測タスクを超えて解釈または再利用することが難しいことで知られている。 ベクトルオントロジー(英: vector ontology)は、ある領域内の概念と関係の幾何学的解析を可能にする、存在論的に有意な次元にまたがる領域固有のベクトル空間を定義する。 GPT-4o-miniを用いて、複数の自然言語プロンプトを通してジャンル表現を抽出し、これらの投影の一貫性を言語的変動と、その接地構造データとの整合性から解析する。
  論文  参考訳（メタデータ） (2025-06-16T08:49:21Z)
• Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities [12.065600268467556]
  LLM(Large Language Models)の微調整は命令追従能力を大幅に向上させた。 本研究では,命令固有スパース成分の分離と解析により,LLM計算の微調整について検討する。
  論文  参考訳（メタデータ） (2025-05-27T13:40:28Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• MATHGLANCE: Multimodal Large Language Models Do Not Know Where to Look in Mathematical Diagrams [65.02628814094639]
  ダイアグラムは視覚言語の基本形として機能し、複雑な概念と、構造化されたシンボル、形状、空間的配置を通してそれらの相互関係を表現する。 現在のベンチマークでは知覚と推論のタスクが明確化されており、マルチモーダルな大規模言語モデルが表面的なパターン認識以上の数学的図形を真に理解しているかどうかを評価することは困難である。 MLLMにおける数学的知覚の分離と評価を目的としたベンチマークであるMATHGLANCEを紹介する。 幾何学的プリミティブと正確な空間関係を付加した200K構造幾何画像テキストの知覚指向データセットであるGeoPePを構築した。
  論文  参考訳（メタデータ） (2025-03-26T17:30:41Z)
• Do Large Language Models Truly Understand Geometric Structures? [15.915781154075615]
  我々はGeomRelデータセットを導入し、大規模言語モデルの幾何学的構造に対する理解を評価する。 我々は,LLMの幾何学的関係を識別する能力を高めるGeometry Chain-of-Thought (GeoCoT)法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:52:34Z)
• Reasoning in Large Language Models: A Geometric Perspective [4.2909314120969855]
  我々は,その幾何学的理解を通して,大規模言語モデル(LLM)の推論能力について検討する。 LLMの表現力と自己認識グラフの密度の関連性を確立する。
  論文  参考訳（メタデータ） (2024-07-02T21:39:53Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。