論文の概要: From Parallels to Divergence: Language Models' Learning of Action Nominal Constructions

• arxiv url: http://arxiv.org/abs/2610.22468v1
• Date: Thu, 15 Oct 2026 17:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.604174
• Title: From Parallels to Divergence: Language Models' Learning of Action Nominal Constructions
• Title（参考訳）: パラレルからダイバージェンスへ:言語モデルによるアクション・ノミナルな構成の学習
• Abstract要約: 本研究では,自然コーパスからの意味的入力と計算文法を組み合わせた合成コーパス構築のための文法工学的手法を用いる。 我々は、節語順、名詞句順、アライメント、補体系、ALC戦略に異なる96のターゲット言語を構築した。 各言語に対して,GPT-2-小モデルをスクラッチから訓練し,34の文法現象を対象とする最小ペアを用いて評価する。
• 参考スコア（独自算出の注目度）: 2.1771821757134915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action nominal constructions (ANCs) express events in nominal form, with their argument marking following patterns found in clauses or ordinary noun phrases. In this paper, we investigate how different grammatical configurations affect language models' learning of ANCs and related constructions, and how these learning preferences compare with typological distributions in natural languages. We use a grammar-engineered method for synthetic corpus construction that combines shared semantic input from natural corpora with computational grammars. We construct 96 target languages varying in clause word order, noun-phrase word order, alignment, complement system, and ANC strategy. For each language, we train GPT-2-small models from scratch and evaluate them using targeted minimal pairs covering 34 grammatical phenomena. The results show typological parallels in basic clause configurations but divergences in complement systems and ANC strategies, with models also learning combinations rare or unattested in natural languages. This partial alignment suggests that natural language distributions may reflect both general learning pressures and functional demands not fully captured by model learning experiments.
• Abstract（参考訳）: アクション・ナチュラル・コンストラクション(ANC)は、節や通常の名詞句に見られるパターンに従って、イベントを名目で表現する。 本稿では,異なる文法構成が言語モデルにおけるANCの学習と関連する構成に与える影響について検討し,これらの学習嗜好が自然言語の類型的分布と比較する。 本研究では,自然コーパスからの共有意味入力と計算文法を組み合わせた合成コーパス構築のための文法工学的手法を用いる。 我々は、節語順、名詞句順、アライメント、補体系、ALC戦略に異なる96のターゲット言語を構築した。 各言語に対して,GPT-2-小モデルをスクラッチから訓練し,34の文法現象を対象とする最小ペアを用いて評価する。 その結果, 基本節構成では類型的並列性を示すが, 補体系やALC戦略では相違があり, 自然言語では稀あるいは未証明な組み合わせも学習できることがわかった。 この部分的なアライメントは、自然言語の分布が一般的な学習圧力と機能的要求の両方をモデル学習実験で完全に捉えていないことを反映している。

関連論文リスト

• Typological Alignment of Stack-Based Language Models on Mildly Context-Sensitive Artificial Languages [9.692115036534187]
  言語のいくつかの特性、例えば、主題-対象-動詞(SOV)単語順は、証明された自然言語(NL)の中で、他の言語よりも一般的である。 類型的共通性は、しばしば学習バイアスに起因する。近年の言語モデル(LM)による計算シミュレーションにより、この理論の探求が進められている。 i) 階層的依存関係、(i) 証明された構文的複雑性の上限、(ii) スタックベースのLM、そして、階層的パターンの学習を容易にする。
  論文  参考訳（メタデータ） (2026-10-01T16:52:08Z)
• Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
  LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。 空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。 多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:14:53Z)
• Grammaticality Judgments in Humans and Language Models: Revisiting Generative Grammar with LLMs [0.0]
  伝統的な生成文法では、主語・副詞の逆転や寄生的ギャップのライセンスのような文法性の体系的なコントラストが、内部的、階層的な文法の証拠として扱われる。 表面形状のみを訓練した大規模言語モデル(LLM)が,これらのコントラストを基礎となる構造表現を再現するかどうかを検証した。
  論文  参考訳（メタデータ） (2025-12-11T09:17:35Z)
• Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction [6.531546527140474]
  言語モデルは一般的に文法的なテキストを生成するが、特定の文脈で誤りを犯しやすい。 言語モデルにおける文法学習の中間段階をよりよく理解することは可能であることを示す。 言語モデルの振る舞いを解析するためにこのアプローチを採用することは、中間学習フェーズ、全体的なトレーニングダイナミクス、言語モデルによって学習された特定の一般化を理解するための強力なツールとなり得る、と我々は論じる。
  論文  参考訳（メタデータ） (2025-10-28T19:59:26Z)
• The Emergence of Grammar through Reinforcement Learning [5.599852485003601]
  構文的・意味的構成の文法体系の進化は、強化学習理論の新たな応用によってモデル化される。 私たちは、与えられたコンテキストで表現できる異なるメッセージに対する確率分布をモデル内に含んでいます。 提案された学習と生産のアルゴリズムは、言語学習を、メッセージの確率から得られる各ステップの利点など、一連の単純なステップに分解する。
  論文  参考訳（メタデータ） (2025-03-03T15:10:46Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。