論文の概要: What Can String Probability Tell Us About Grammaticality?

• arxiv url: http://arxiv.org/abs/2510.16227v1
• Date: Fri, 17 Oct 2025 21:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.906638
• Title: What Can String Probability Tell Us About Grammaticality?
• Title（参考訳）: 文字列の確率は文法について何を教えてくれるか?
• Authors: Jennifer Hu, Ethan Gotlieb Wilcox, Siyuan Song, Kyle Mahowald, Roger P. Levy,
• Abstract要約: コーパスデータの生成過程に関する簡単な仮定に基づいて,文法,意味,文字列の確率の関係を理論的に解析する。 本フレームワークでは,280K文対を英語と中国語で実証的に評価する3つの予測を行う。 本分析は,LMの構造的知識を学習する確率を用いた理論的根拠を与えるとともに,LM文法評価における今後の研究の方向性を提案する。
• 参考スコア（独自算出の注目度）: 11.216210921392637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What have language models (LMs) learned about grammar? This question remains hotly debated, with major ramifications for linguistic theory. However, since probability and grammaticality are distinct notions in linguistics, it is not obvious what string probabilities can reveal about an LM's underlying grammatical knowledge. We present a theoretical analysis of the relationship between grammar, meaning, and string probability, based on simple assumptions about the generative process of corpus data. Our framework makes three predictions, which we validate empirically using 280K sentence pairs in English and Chinese: (1) correlation between the probability of strings within minimal pairs, i.e., string pairs with minimal semantic differences; (2) correlation between models' and humans' deltas within minimal pairs; and (3) poor separation in probability space between unpaired grammatical and ungrammatical strings. Our analyses give theoretical grounding for using probability to learn about LMs' structural knowledge, and suggest directions for future work in LM grammatical evaluation.
• Abstract（参考訳）: 言語モデル(LM)は文法について何を学んだか? この問題は現在も熱い議論が続き、言語理論に大きな影響が及んでいる。 しかし、確率と文法性は言語学において異なる概念であるため、LMの基本的な文法的知識についてどのような文字列確率が明らかになるかは明らかではない。 コーパスデータの生成過程に関する簡単な仮定に基づいて,文法,意味,文字列の確率の関係を理論的に解析する。 本フレームワークでは,280K文対を英語と中国語で実証的に検証し,(1)最小対における文字列の確率の相関,(2)最小対におけるモデルと人間のデルタの相関,(3)未対の文法的文字列と非文法的文字列の確率空間の分離,という3つの予測を行った。 本分析は,LMの構造的知識を学習する確率を用いた理論的根拠を与えるとともに,LM文法評価における今後の研究の方向性を提案する。

関連論文リスト

• Language Models Fail to Introspect About Their Knowledge of Language [12.074939242230505]
  大規模言語モデル (LLM) が内部状態を検査できるかどうかを検討する。 モデルがメタ言語的刺激に対する応答を、内部知識を忠実に反映しているかどうかを評価する。 メタ言語的プロンプトと確率比較は高いタスク精度をもたらすが、LLMが「自己アクセス」を特権化している証拠は見つからない。
  論文  参考訳（メタデータ） (2025-03-10T16:33:14Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Linguistic Minimal Pairs Elicit Linguistic Similarity in Large Language Models [15.857451401890092]
  我々はLarge Language Models(LLMs)の内部言語表現を探索するために、言語最小ペアを活用する。 3つの言語で100以上のLLMと150k以上の最小ペアにまたがる大規模な実験では、4つの重要な側面から言語的類似性の特性を明らかにした。
  論文  参考訳（メタデータ） (2024-09-19T03:29:40Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Can You Learn Semantics Through Next-Word Prediction? The Case of Entailment [36.82878715850013]
  Merrillらは、理論上、最適なLMによって予測される文共起確率は、構成文の詳細な関係を反映すべきであると主張している。 本稿では,その理論をニューラルネットワークから包含関係を復号化するために利用できるか検討する。 それらのテストに類似したテストは、自然文間の係り受け関係を復号することができるが、完全には成立しない。
  論文  参考訳（メタデータ） (2024-02-21T17:36:07Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Learning of Structurally Unambiguous Probabilistic Grammars [7.347989843033034]
  CMTAは確率文法に変換可能であることを示す。 学習したCMTAは、構造的に曖昧な確率論的文脈自由文法を学習するための完全なアルゴリズムに変換可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-17T17:01:51Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)
• VLGrammar: Grounded Grammar Induction of Vision and Language [86.88273769411428]
  共同学習枠組みにおける視覚と言語の基底文法誘導について検討する。 本稿では,複合確率文脈自由文法(pcfgs)を用いて言語文法と画像文法を同時に誘導する手法であるvlgrammarを提案する。
  論文  参考訳（メタデータ） (2021-03-24T04:05:08Z)
• Learning of Structurally Unambiguous Probabilistic Grammars [7.347989843033034]
  我々は構造的に曖昧な重み付き文脈自由文法(SUWCFG)に注意を向ける。 共線形乗数木オートマトン(CMTA)を用いてSUWCFGを表現できることを示し,CMTAを学習する学習アルゴリズムを提供する。 ゲノムデータを用いたPCFG学習におけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-11-15T08:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。