論文の概要: Linguistic Productivity in Large Language Models: Models Coerce, but do not Preempt

• arxiv url: http://arxiv.org/abs/2606.02953v1
• Date: Mon, 01 Jun 2026 23:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.636346
• Title: Linguistic Productivity in Large Language Models: Models Coerce, but do not Preempt
• Title（参考訳）: 大規模言語モデルにおける言語的生産性:モデル間相関
• Authors: Claire Bonial, Claire Benet Post, Laura Michaelis, Harish Tayyar Madabushi,
• Abstract要約: 大規模言語モデルでは, コーカシオンの場合, 建設的生産性(エンクエンチメント)を保ちながら再現可能であることを示す。 また、最も大きなモデルでさえ、新規言語に対する否定的な証拠を拡張できないことも示している。
• 参考スコア（独自算出の注目度）: 5.856894361762095
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Usage-based theories of grammars posit that creative productivity of the structures of language is both bolstered and constrained by two distinct frequency signals: entrenchment, stemming from high frequency usage, and preemption, stemming from having never observed a particular linguistic structure in a context where one might expect that structure to appear. Large Language Models are also usage-based, in the sense that the structures of language are learned through exposure to vast amounts of text. Here, we test whether or not the opposing statistical forces of entrenchment and preemption also encourage and constrain linguistic productivity in LLMs. We demonstrate across model architectures that larger models recognize and can reproduce with nonce words constructional productivity (entrenchment) in cases of coercion, wherein the broader constructional context coerces an atypical interpretation of a lexical item. However, we also show that even the largest models do not extend negative evidence to novel language, and statistical preemption does not enable models to avoid overgeneralization of patterns that are semantically felicitous, but never observed in data.
• Abstract（参考訳）: 文法の用法に基づく理論は、言語の構造の創造的な生産性は、2つの異なる周波数信号によって促進され制約されていることを示唆している。 大規模言語モデルもまた、言語構造が大量のテキストに曝露することによって学習されるという意味で、使用法に基づいている。 ここでは, LLMの言語的生産性を向上し, 制約する要因として, エンレンチとプリエンプションの対立する統計的力があるかどうかを検証する。 より広い構成文脈が語彙的項目の非典型的解釈を伴って、より大規模なモデルで認識・再現できるモデルアーキテクチャを実証する。 しかし,大きめのモデルでさえ新規言語に対する否定的な証拠を拡張せず,統計的プリエンプションは,意味論的にフェリシタンなパターンの過度な一般化を回避できないことを示す。

関連論文リスト

• Benchmarking Concept-Spilling Across Languages in LLMs [7.577675422356702]
  大規模言語モデル(LLM)は言語間の優れた能力を示すが、他の言語からの表現に対する体系的なバイアスを示すことが多い。 本稿では,言語間の多文語をモデルがどう扱うかを測定することで,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T19:28:26Z)
• Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts [2.519319150166215]
  本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。 大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
  論文  参考訳（メタデータ） (2025-04-10T16:39:28Z)
• Infusing Prompts with Syntax and Semantics [0.0]
  本研究では,多種多様な構文情報や意味情報を大規模言語モデルに直接注入する効果を解析する。 言語分析によって言語モデルが大幅に向上し、これまでの最高のシステムを超えている点が示される。
  論文  参考訳（メタデータ） (2024-12-08T23:49:38Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Language Model Evaluation Beyond Perplexity [47.268323020210175]
  我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。 ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
  論文  参考訳（メタデータ） (2021-05-31T20:13:44Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。