論文の概要: Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

• arxiv url: http://arxiv.org/abs/2605.23039v1
• Date: Thu, 21 May 2026 21:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.101886
• Title: Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs
• Title（参考訳）: 言語モデルは言うべきでないことを知っているか? : LLMにおける統計的プリエンプションのための因果的証拠
• Authors: Dongxin Guo, Jikun Wu, Siu Ming Yiu,
• Abstract要約: 建設文法は統計的プリエンプション(英語版)を提案している: 従来の形式への露出は構造的に可能であるが、証明されていない代替手段を前提としている。 本稿では,大規模言語モデルにおいて,競合するエンレンチメント仮説から統計的プリエンプションを解離する計算手法を提案する。
• 参考スコア（独自算出の注目度）: 13.891522069967507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do learners acquire knowledge of what is unacceptable without negative evidence? Construction Grammar proposes statistical preemption: exposure to a conventional form (e.g., "donated the books to the library") preempts structurally possible but unattested alternatives ("*donated the library the books"). We present a computational study that, for the first time, directly dissociates statistical preemption from the competing entrenchment hypothesis in large language models within a single converging design. Across four experiments spanning 120 English verb-construction pairings (dative, causative, locative), we show that (1) LLM surprisal patterns correlate strongly with human acceptability judgments ($r = 0.79$), validated against three independent behavioral datasets; (2) these patterns are driven by competing-form frequency rather than overall verb frequency, confirmed by non-circular partial correlations; (3) preemption sensitivity scales as a power law with model size; and (4) a controlled fine-tuning intervention causally demonstrates that manipulating competing-form frequencies shifts preemption behavior in the predicted direction, with reverse-direction controls ruling out frequency-sensitivity confounds. These results provide converging evidence that neural language models acquire negative linguistic knowledge through distributional competition, the core mechanism posited by Construction Grammar.
• Abstract（参考訳）: 否定的な証拠がなければ、学習者は何が受け入れられないのかを知ることができるのか? 建設グラマーは統計的プリエンプションを提案している: 従来の形式(例えば「図書館に本を寄付する」)への露出は、構造的に可能ではあるが、証明されていない代替案(「図書館に本を寄付する」)を前提としている。 本稿では,1つの収束設計における大規模言語モデルにおける競合するエンレンチメント仮説から,統計的プリエンプションを直接解離する計算研究を提案する。 120の英語動詞構成ペアリング(dative, causative, locative)にまたがる4つの実験において,(1)LLMパターンとヒトの受容可能性判断(r = 0.79$)が強く相関し,3つの独立行動データセットに対して検証された。 これらの結果から,ニューラルネットワークモデルが分散競争を通じて負の言語知識を得るという確証が得られた。

関連論文リスト

• Evaluating Evidence Grounding Under User Pressure in Instruction-Tuned Language Models [6.431677598656395]
  競合するドメインでは、命令調整言語モデルは、コンテキスト内証拠に対する忠実さに対するユーザ調整のプレッシャーをバランスさせなければならない。 我々は,0.27Bから32Bのパラメータにまたがる19の命令調整モデルに対して,エビデンス組成と不確実性を詳細に説明する。
  論文  参考訳（メタデータ） (2026-03-20T17:38:23Z)
• LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
  大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。 本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。 授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
  論文  参考訳（メタデータ） (2026-02-10T14:38:13Z)
• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Do Large Language Models Show Biases in Causal Learning? [3.0264418764647605]
  因果学習は、利用可能な情報に基づいて因果推論を行う能力を開発するための認知過程である。 本研究では,大言語モデル(LLM)が因果錯覚を発生させるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-12-13T19:03:48Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)
• HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference [38.14399396661415]
  仮説のみのバイアスの観点から、逆例を導出する。 このような仮説のみのバイアスを軽減するために、人工パターンモデリングを利用する2つのデバイアス手法について検討する。
  論文  参考訳（メタデータ） (2020-03-05T16:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。