論文の概要: Patterns of Priming in Production: Lexical, Semantic and Structural Alignment in Language Model Generation

• arxiv url: http://arxiv.org/abs/2609.04484v1
• Date: Thu, 03 Sep 2026 21:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.820879
• Title: Patterns of Priming in Production: Lexical, Semantic and Structural Alignment in Language Model Generation
• Title（参考訳）: 生産におけるプライミングのパターン:言語モデル生成における語彙的,意味的,構造的アライメント
• Abstract要約: 特に意味的コヒーレントな文では, LMは構造的プライミングの影響を受けやすいことがわかった。 また,レキシコ・セマンティック・コヒーレンスにより構造プライミングが促進されることも観察した。 本研究の根拠は,LMの構造的プライミングが言語表現の複数のレベルにわたって機能する,という見方を裏付けるものである。
• 参考スコア（独自算出の注目度）: 12.118484518643038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates structural priming in language model (LM) production, examining how preceding structural context influences sentence completion. While prior work has demonstrated priming effects in comprehension of structural alternations, it remained unclear whether these persist in production, where, when generating, an LM samples from many possible continuations at each step. We address this question through a series of controlled sentence-completion experiments on dative constructions. In line with prior work, we find that LMs are susceptible to structural priming, particularly in sentences that are semantically coherent. In terms of priming magnitude, we find that while there is a greater relative increase of double-object datives against our baselines, in line with inverse frequency effects, there is a larger absolute increase in prepositional-objects, the more frequently produced construction. Finally, we not only observe that structural priming is boosted by lexico-semantic coherence, but that structurally primed completions display greater levels of lexico-semantic repetition. Taken together, our evidence supports the view that structural priming in LMs operates across multiple levels of linguistic representation, facilitating, and facilitated by syntactic, lexical, and semantic alignment. Code: https://github.com/the-context-lab/primedproduction.
• Abstract（参考訳）: 本稿では,言語モデル(LM)生成における構造的プライミングについて検討し,先行する構造的文脈が文の完成にどのように影響するかを考察する。 以前の研究では、構造的変化の理解においてプリミング効果が示されたが、これらが生産に持続するかどうかは不明であり、そこでは、生成時に、各ステップで起こりうる多くの連続からLMサンプルが採取される。 そこで本稿では, 段落構造に関する一連の文補完実験を通じて, この問題に対処する。 従来の研究に則って、特に意味論的に一貫性のある文において、LMは構造的プライミングの影響を受けやすいことが分かる。 プライミング・マグニチュードでは, 逆周波数効果に則って, 二重対象物がベースラインに対して相対的に増加する一方で, 先行対象物が絶対的に増加するのに対して, より頻繁に生成される構造であることがわかった。 最後に, 構造プライミングがレキシコ・セマンティック・コヒーレンスによって促進されるだけでなく, 構造プライマード完了はレキシコ・セマンティック・リピーションのレベルが大きくなることを観察する。 本研究のエビデンスでは,LMの構造的プライミングが言語表現の複数のレベルにわたって機能し,構文,語彙,意味的アライメントによって促進され,促進されるという見解を支持している。 コード:https://github.com/the-context-lab/primed production。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• From Static Structures to Ensembles: Studying and Harnessing Protein Structure Tokenization [15.864659611818661]
  タンパク質構造トークン化は、3D構造を離散的あるいはベクトル化された表現に変換する。 構造トークン化に関する最近の多くの研究にもかかわらず、基礎となる離散表現の性質はよく理解されていない。 構造予測のための言語モデルにおける構造トークンの有効利用は、リッチで訓練済みのシーケンス埋め込みを使うことに依存していることを示す。
  論文  参考訳（メタデータ） (2025-11-13T07:58:24Z)
• Probing Syntax in Large Language Models: Successes and Remaining Challenges [7.9494253785082405]
  構造的要因や統計的要因がこれらの構文的表現に体系的に影響を及ぼすかどうかは不明である。 3つの制御されたベンチマーク上で構造プローブの詳細な解析を行う。
  論文  参考訳（メタデータ） (2025-08-05T08:41:14Z)
• QUDsim: Quantifying Discourse Similarities in LLM-Generated Text [70.22275200293964]
  本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。 このフレームワークを使って$textbfQUDsim$を作ります。 QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
  論文  参考訳（メタデータ） (2025-04-12T23:46:09Z)
• Linguistic Structure Induction from Language Models [1.8130068086063336]
  この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。 本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。 この分野の課題を分析し、対処するための6つの実験を提示します。
  論文  参考訳（メタデータ） (2024-03-11T16:54:49Z)
• How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure [2.530495315660486]
  本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。 しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
  論文  参考訳（メタデータ） (2023-11-08T18:58:43Z)
• Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
  トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。 中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
  論文  参考訳（メタデータ） (2023-05-30T04:34:13Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。