論文の概要: Neural reality of argument structure constructions

• arxiv url: http://arxiv.org/abs/2202.12246v1
• Date: Thu, 24 Feb 2022 18:02:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 17:00:32.044358
• Title: Neural reality of argument structure constructions
• Title（参考訳）: 引数構造構成のニューラルリアリティ
• Authors: Bai Li, Zining Zhu, Guillaume Thomas, Frank Rudzicz, Yang Xu
• Abstract要約: 語彙論的言語理論では、議論構造は動詞の意味から予測可能であると仮定される。 対照的に、構成文法学者は、議論構造は動詞とは異なる構成で符号化されていることを提唱している。 ここでは、トランスフォーマーに基づく言語モデルにおける引数構造構造の存在を探索するために、いくつかの心理言語学的研究を適用する。
• 参考スコア（独自算出の注目度）: 19.325001405556648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In lexicalist linguistic theories, argument structure is assumed to be predictable from the meaning of verbs. As a result, the verb is the primary determinant of the meaning of a clause. In contrast, construction grammarians propose that argument structure is encoded in constructions (or form-meaning pairs) that are distinct from verbs. Decades of psycholinguistic research have produced substantial empirical evidence in favor of the construction view. Here we adapt several psycholinguistic studies to probe for the existence of argument structure constructions (ASCs) in Transformer-based language models (LMs). First, using a sentence sorting experiment, we find that sentences sharing the same construction are closer in embedding space than sentences sharing the same verb. Furthermore, LMs increasingly prefer grouping by construction with more input data, mirroring the behaviour of non-native language learners. Second, in a "Jabberwocky" priming-based experiment, we find that LMs associate ASCs with meaning, even in semantically nonsensical sentences. Our work offers the first evidence for ASCs in LMs and highlights the potential to devise novel probing methods grounded in psycholinguistic research.
• Abstract（参考訳）: 語彙論的言語理論では、議論構造は動詞の意味から予測可能であると仮定される。 結果として、動詞は節の意味の主要な決定要因となる。 対照的に、構成文法学者は、引数構造は動詞と異なる構成(あるいは形を表すペア)に符号化されていることを提案している。 精神言語学研究の数十年は、建設観に有利な実証的な証拠を生み出してきた。 ここでは、トランスフォーマーベース言語モデル(LM)における引数構造構築(ASC)の存在を調査するために、いくつかの心理言語学的研究を適用する。 まず,文のソート実験を用いて,同じ構造を持つ文が,同じ動詞を共有する文よりも埋め込み空間に近くなることを示す。 さらに、LMはより多くの入力データによる構築によるグループ化を好んでおり、非ネイティブ言語学習者の振る舞いを反映している。 第二に、"Jabberwocky"プライミングに基づく実験では、意味論的に非感覚的な文であっても、LMがASCと意味を関連付ける。 我々の研究は、ALCのLMにおける最初の証拠を提供し、精神言語学的研究に基づく新しい探索手法を考案する可能性を強調している。

関連論文リスト

• Generating novel experimental hypotheses from language models: A case study on cross-dative generalization [15.705978435313996]
  我々は、シミュレーション学習者としてLMを用いて、人間と実験するための新しい実験仮説を導出する。 子どもの横断的一般化(CDG)の既知のパターンを再現するLMが見つかる。 本論では,CDGが露出コンテキストの特徴として,特に調和性のあるものとして,内部的に促進される,という新たな仮説を提案する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:36Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction [46.2032673640788]
  人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。 この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。 本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T03:04:06Z)
• The Fewer Splits are Better: Deconstructing Readability in Sentence Splitting [0.0]
  文章分割(文分割)は、文章の単純化のサブフィールドであり、文章を断片に分割すると理解しやすくなるという、証明できない考え方に主に動機付けられている。 特に我々は、文章を2つか3つに分割するかどうかが問題なのかと尋ねる。Amazon Mechanical Turkの調査結果を報告する。
  論文  参考訳（メタデータ） (2023-02-02T08:25:48Z)
• Dual Mechanism Priming Effects in Hindi Word Order [14.88833412862455]
  プライミングは複数の異なるソースによって駆動されるという仮説をテストする。 コーパス文の前動詞構成成分をパーミュレートし、ロジスティック回帰モデルを用いて、コーパス内で実際に発生した文を予測する。 異なるプライミングの影響が互いに分離可能であることを示すことによって、我々は複数の認知メカニズムがプライミングの根底にあるという仮説を支持した。
  論文  参考訳（メタデータ） (2022-10-25T11:49:22Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• The Causal Structure of Semantic Ambiguities [0.0]
  本研究は,(1)異なる解釈の連立可否度,(2)プロセスにおいて特定の単語がより重要な役割を果たす因果構造,の2つの特徴を同定する。 我々はこの理論を、心理学文献から抽出された曖昧なフレーズのデータセットと、私たちによって収集された人間の妥当性に応用した。
  論文  参考訳（メタデータ） (2022-06-14T12:56:34Z)
• ConjNLI: Natural Language Inference Over Conjunctive Sentences [89.50542552451368]
  連接文における連接関係の推論は、連接関係のより深い理解にとって重要である。 既存のNLIストレステストでは、結合の非ブール的使用は考慮されていない。 本稿では,接続文に対する自然言語推論のためのストレステストであるConjNLIを紹介する。
  論文  参考訳（メタデータ） (2020-10-20T16:29:13Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。