論文の概要: Implicit Representations of Grammaticality in Language Models
- arxiv url: http://arxiv.org/abs/2605.05197v1
- Date: Wed, 06 May 2026 17:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.983585
- Title: Implicit Representations of Grammaticality in Language Models
- Title（参考訳）: 言語モデルにおける文法表現の暗黙的表現
- Abstract要約: 我々は、文法文と(合成)非文法文のデータセット上で線形プローブを訓練する。
この単純な文法的プローブは、人間の計算した文法的判断ベンチマークに一般化し、LM確率に基づく文法的判断よりも優れることがわかった。
英語学習されたプローブは非自明な言語間一般化も示しており、他の多くの言語における文法的ベンチマークにおいて文字列確率よりも優れる。
- 参考スコア（独自算出の注目度）: 33.563784182750474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grammaticality and likelihood are distinct notions in human language. Pretrained language models (LMs), which are probabilistic models of language fitted to maximize corpus likelihood, generate grammatically well-formed text and discriminate well between grammatical and ungrammatical sentences in tightly controlled minimal pairs. However, their string probabilities do not sharply discriminate between grammatical and ungrammatical sentences overall. But do LMs implicitly acquire a grammaticality distinction distinct from string probability? We explore this question through studying internal representations of LMs, by training a linear probe on a dataset of grammatical and (synthetic) ungrammatical sentences obtained by applying perturbations to a naturalistic text corpus. We find that this simple grammaticality probe generalizes to human-curated grammaticality judgment benchmarks and outperforms LM probability-based grammaticality judgments. When applied to semantic plausibility benchmarks, in which both members of a minimal pair are grammatical and differ in only plausibility, the probe however performs worse than string probability. The English-trained probe also exhibits nontrivial cross-lingual generalization, outperforming string probabilities on grammaticality benchmarks in numerous other languages. Additionally, probe scores correlate only weakly with string probabilities. These results collectively suggest that LMs acquire to some extent an implicit grammaticality distinction within their hidden layers.
- Abstract（参考訳）: 文法性と可能性とは、人間の言語において異なる概念である。
コーパス可能性の最大化に適合する言語確率モデルである事前訓練言語モデル(LM)は、文法的に整形されたテキストを生成し、厳密に制御された最小ペアの文法文と非文法文をよく区別する。
しかし、それらの文字列確率は、文法的な文と非文法的な文とを区別するものではない。
しかし、LMは文字列確率とは異なる文法的区別を暗黙的に取得するのか?
本研究では,自然文コーパスに摂動を適用して得られる文法的および(合成)非文法的文のデータセット上で線形プローブを訓練することにより,LMの内部表現を研究することにより,この問題を考察する。
この単純な文法的プローブは、人間の計算した文法的判断ベンチマークに一般化し、LM確率に基づく文法的判断よりも優れることがわかった。
セマンティック・プラウシビリティ・ベンチマーク(英語版)に適用すると、最小ペアの双方のメンバーは文法的であり、可算性だけが異なるが、プローブは弦の確率よりも悪い。
英語学習されたプローブは非自明な言語間一般化も示しており、他の多くの言語における文法的ベンチマークにおいて文字列確率よりも優れる。
さらに、プローブのスコアは弦の確率と弱い相関しか持たない。
これらの結果は、LMが隠された層の中で暗黙の文法的区別をある程度得ることを示唆している。
関連論文リスト
- Linear representations of grammaticality in neural language models [7.771160777932259]
ニューラルネットワークモデルの内部表現において文法性が符号化されているかを検討する。
この結果から, 文法性は, 幅広い事前学習NLMの文表現に強固に符号化されていることを示す。
論文 参考訳（メタデータ） (2026-07-16T16:23:56Z) - What Can String Probability Tell Us About Grammaticality? [11.216210921392637]
コーパスデータの生成過程に関する簡単な仮定に基づいて,文法,意味,文字列の確率の関係を理論的に解析する。
本フレームワークでは,280K文対を英語と中国語で実証的に評価する3つの予測を行う。
本分析は,LMの構造的知識を学習する確率を用いた理論的根拠を与えるとともに,LM文法評価における今後の研究の方向性を提案する。
論文 参考訳（メタデータ） (2025-10-17T21:36:00Z) - Large Language Model probabilities cannot distinguish between possible and impossible language [0.11726720776908521]
モデル-内部表現を使用して、大言語モデルが'文法-非文法'の区別を表現する方法を直接タップします。
文字列確率が文法の限界のプロキシとして機能すると、非文法的条件は言語的違反を含む条件の中で際立つと予測する。
この結果から,非文法的プロンプトに対する特異な副次的シグネチャは明らかにされていない。
論文 参考訳（メタデータ） (2025-09-18T16:17:48Z) - Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar [27.3347020320559]
日本語の「第一人精神述語制限」文法点に直面する言語モデルの難易度を測定した。
さらに, 代用文法モデルを用いて, 代用文法パターンを用いて代用文法文を生成する場合, トークン化問題により最も自然な文が出力されることを防止できることを示す。
論文 参考訳（メタデータ） (2025-05-26T07:08:47Z) - Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。
言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。
本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
論文 参考訳（メタデータ） (2025-02-17T20:40:01Z) - Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。
コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。
実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文 参考訳（メタデータ） (2023-10-17T03:21:43Z) - CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。
CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。
言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
論文 参考訳（メタデータ） (2022-11-04T12:56:12Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - Locally Typical Sampling [84.62530743899025]
我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。
本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Self-Training Sampling with Monolingual Data Uncertainty for Neural
Machine Translation [98.83925811122795]
並列データを補完するために最も情報に富んだ単言語文を選択することでサンプリング手順を改善することを提案する。
並列データから抽出したバイリンガル辞書を用いて単言語文の不確実性を計算した。
大規模WMT英語$Rightarrow$Germanと英語$Rightarrow$ Chineseデータセットの実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-06-02T05:01:36Z) - Recurrent Neural Network Language Models Always Learn English-Like
Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。
英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文 参考訳（メタデータ） (2020-05-01T01:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。