論文の概要: Do Language Models Encode Knowledge of Linguistic Constraint Violations?

• arxiv url: http://arxiv.org/abs/2605.12055v2
• Date: Thu, 14 May 2026 07:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 15:19:49.897595
• Title: Do Language Models Encode Knowledge of Linguistic Constraint Violations?
• Title（参考訳）: 言語モデルは言語制約違反の知識を符号化しているか?
• Authors: Hardy, Sebastian Padó,
• Abstract要約: 大規模言語モデル (LLM) は言語的性能は高いが、これらの予測を生成するための内部メカニズムはいまだに不明である。 本研究では,LLMが言語制約違反の表現をパラメータ内にエンコードし,非文法的な文を処理する際に選択的に活性化されるという仮説を考察する。 本稿では,制約違反と良好な入力に対して優先的に活性化される特徴を特定するための感度スコアを導入し,潜在的な違反固有の特徴の教師なし検出を可能にする。
• 参考スコア（独自算出の注目度）: 6.1335559884409685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) achieve strong linguistic performance, yet their internal mechanisms for producing these predictions remain unclear. We investigate the hypothesis that LLMs encode representations of linguistic constraint violations within their parameters, which are selectively activated when processing ungrammatical sentences. To test this, we use sparse autoencoders to decompose polysemantic activations into sparse, monosemantic features and recover candidates for violation-related features. We introduce a sensitivity score for identifying features that are preferentially activated on constraint-violated versus well-formed inputs, enabling unsupervised detection of potential violation-specific features. We further propose a conjunctive falsification framework with three criteria evaluated jointly. Overall, the results are negative in two respects: (1) the falsification criteria are not jointly satisfied across linguistic phenomena, and (2) no features are consistently shared across all categories. While some phenomena show partial evidence of selective causal structure, the overall pattern provides limited support for a unified set of grammatical violation detectors in current LMs.
• Abstract（参考訳）: 大規模言語モデル (LLM) は言語的性能は高いが、これらの予測を生成するための内部メカニズムはいまだに不明である。 本研究では,LLMが言語制約違反の表現をパラメータ内にエンコードし,非文法的な文を処理する際に選択的に活性化されるという仮説を考察する。 これをテストするために、スパースオートエンコーダを用いて、ポリセマンティックなアクティベーションをスパース、モノセマンティックな特徴に分解し、違反に関連する特徴の候補を復元する。 本稿では,制約違反と良好な入力に対して優先的に活性化される特徴を特定するための感度スコアを導入し,潜在的な違反固有の特徴の教師なし検出を可能にする。 さらに,3つの基準を共同で評価した連接型ファルシフィケーションフレームワークを提案する。 総じて, 結果は2つの点で否定的であり, 1) ファルシフィケーション基準は言語現象間では連立的に満たされず, (2) 全てのカテゴリーで一貫した特徴は共有されない。 いくつかの現象は、選択因果構造の部分的な証拠を示すが、全体的なパターンは、現在のLMにおける文法違反検出の統一セットに対する限定的なサポートを提供する。

関連論文リスト

• Multilingual Cognitive Impairment Detection in the Era of Foundation Models [6.141505279958125]
  英語,スロベニア語,韓国語における音声の書き起こしから認知障害(CI)分類を評価する。 直接分類器として用いられるゼロショット大言語モデル(LLM)を3つの入力条件下で比較する。
  論文  参考訳（メタデータ） (2026-04-08T07:22:43Z)
• Do Sparse Autoencoders Identify Reasoning Features in Language Models? [12.693974363520423]
  大規模言語モデル(LLM)において,スパースオートエンコーダ(SAE)が真の推論特徴を識別するかどうかを検討する。 我々はまず、$ell_$-regularized SAEsが本質的に低次元パターンに偏っているという単純な理論分析を通して示す。 このバイアスに触発され,機能活性化が推論過程を反映しているか,あるいは表層言語的相関を反映しているかを検証するために,ファルシフィケーション指向評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-01-09T09:54:36Z)
• Understanding Refusal in Language Models with Sparse Autoencoders [27.212781538459588]
  我々はスパースオートエンコーダを用いて、拒絶動作を因果的に仲介する潜伏特徴を特定する。 我々は、世代への影響を評価するために、拒絶に関連する特徴に介入する。 これにより、アクティベーションレベルでのリファインダーの表示方法のきめ細かい検査が可能になる。
  論文  参考訳（メタデータ） (2025-05-29T15:33:39Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。