論文の概要: Linear representations of grammaticality in neural language models
- arxiv url: http://arxiv.org/abs/2607.15175v1
- Date: Thu, 16 Jul 2026 16:23:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.175276
- Title: Linear representations of grammaticality in neural language models
- Title（参考訳）: ニューラルネットワークモデルにおける文法表現の線形表現
- Abstract要約: ニューラルネットワークモデルの内部表現において文法性が符号化されているかを検討する。
この結果から, 文法性は, 幅広い事前学習NLMの文表現に強固に符号化されていることを示す。
- 参考スコア（独自算出の注目度）: 7.771160777932259
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Whether neural language models (NLMs) possess the ability to distinguish strings on the basis of their grammaticality remains a debated topic in the computational linguistics literature. Existing evidence has largely relied on probability-based measures, testing whether models assign higher probabilities to grammatical than ungrammatical strings. However, probability comparisons have been criticized as a measure for grammatical knowledge based on the assumption that grammaticality is inherently entangled with likelihood. Model-assigned probability is a function of many related sentence properties, such as lexical frequency, plausibility, and world knowledge. In this work, we move beyond probability-based evaluations and investigate whether grammaticality is encoded in the internal representations of NLMs. Using mass-mean probing, we test whether grammatical and ungrammatical sentences are systematically separated in representational space. We further examine the extent to which these representations are independent of sentence properties that are correlated with grammaticality, as well as their generalization across grammatical phenomena and languages. Our results provide evidence that grammaticality is robustly encoded in sentence representations of a wide range of pretrained NLMs, yielding clear representational separation on the dimension of grammaticality that cannot be fully explained by alternative sentence-level factors. Moreover, this encoding generalizes across a broad range of grammatical phenomena and to some degree, across languages, suggesting that grammaticality constitutes a coherent representational dimension in contemporary NLMs. These findings contribute new evidence to debates about the nature of syntactic knowledge in language models and offer a complementary framework for evaluating grammatical competence that is not dependent on string probabilities alone.
- Abstract（参考訳）: ニューラルネットワークモデル(NLM)がそれらの文法性に基づいて文字列を区別する能力を持っているかどうかは、計算言語学文学において議論の的となっている。
既存の証拠は確率に基づく測度に大きく依存しており、モデルが非文法的な文字列よりも高い確率を文法的に割り当てるかどうかをテストする。
しかし、確率比較は、文法性は本質的に可能性と絡み合っているという仮定に基づいて文法知識の尺度として批判されている。
モデル指定確率は、語彙周波数、可視性、世界知識など、多くの関連する文特性の関数である。
本研究では,確率に基づく評価を超えて,NLMの内部表現に文法性が符号化されているかどうかを検討する。
マス平均探索を用いて,文法文と非文法文が体系的に表現空間に分離されているかどうかを検証した。
さらに,これらの表現が文法性に相関する文の性質と,文法現象や言語にまたがる一般化にどの程度依存しているかを考察する。
以上の結果から,文法性は幅広い事前学習されたNLMの文表現に頑健に符号化されており,他の文レベル因子では説明できない文法性次元の明確な表現的分離が得られることが示された。
さらに、この符号化は、幅広い文法現象とある程度の言語にまたがって一般化され、現代NLMにおける文法性はコヒーレントな表現次元を構成することを示唆している。
これらの知見は、言語モデルにおける構文的知識の性質に関する議論に新たな証拠をもたらし、文字列確率のみに依存しない文法的能力を評価するための補完的な枠組みを提供する。
関連論文リスト
- Implicit Representations of Grammaticality in Language Models [33.563784182750474]
我々は、文法文と(合成)非文法文のデータセット上で線形プローブを訓練する。
この単純な文法的プローブは、人間の計算した文法的判断ベンチマークに一般化し、LM確率に基づく文法的判断よりも優れることがわかった。
英語学習されたプローブは非自明な言語間一般化も示しており、他の多くの言語における文法的ベンチマークにおいて文字列確率よりも優れる。
論文 参考訳（メタデータ） (2026-05-06T17:57:31Z) - Large Language Model probabilities cannot distinguish between possible and impossible language [0.11726720776908521]
モデル-内部表現を使用して、大言語モデルが'文法-非文法'の区別を表現する方法を直接タップします。
文字列確率が文法の限界のプロキシとして機能すると、非文法的条件は言語的違反を含む条件の中で際立つと予測する。
この結果から,非文法的プロンプトに対する特異な副次的シグネチャは明らかにされていない。
論文 参考訳（メタデータ） (2025-09-18T16:17:48Z) - Principles of semantic and functional efficiency in grammatical patterning [1.6267479602370545]
文法的組織は知覚的属性から確実に受け継がれることを示す。
多様な言語サンプルの測定から,文法が機能目標を優先していることが分かる。
論文 参考訳（メタデータ） (2024-10-21T10:49:54Z) - Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。
コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。
実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文 参考訳（メタデータ） (2023-10-17T03:21:43Z) - CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。
CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。
言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
論文 参考訳（メタデータ） (2022-11-04T12:56:12Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳（メタデータ） (2022-04-26T23:42:22Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - Word Frequency Does Not Predict Grammatical Knowledge in Language Models [2.1984302611206537]
言語モデルの精度には,系統的な変化源が存在するかを検討する。
特定の名詞は他の名詞よりも体系的によく理解されており、文法的タスクや異なる言語モデルに対して頑健である。
名詞の文法的特性は,様々な訓練データからほとんど学習されないことが判明した。
論文 参考訳（メタデータ） (2020-10-26T19:51:36Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - Recurrent Neural Network Language Models Always Learn English-Like
Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。
英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文 参考訳（メタデータ） (2020-05-01T01:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。