論文の概要: Discourse structure interacts with reference but not syntax in neural
language models
- arxiv url: http://arxiv.org/abs/2010.04887v1
- Date: Sat, 10 Oct 2020 03:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 23:02:36.493360
- Title: Discourse structure interacts with reference but not syntax in neural
language models
- Title(参考訳): 言語モデルにおける言論構造は参照と相互作用するが構文は相互作用しない
- Authors: Forrest Davis and Marten van Schijndel
- Abstract要約: 本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。
人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。
以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
- 参考スコア(独自算出の注目度): 17.995905582226463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models (LMs) trained on large quantities of text have been claimed
to acquire abstract linguistic representations. Our work tests the robustness
of these abstractions by focusing on the ability of LMs to learn interactions
between different linguistic representations. In particular, we utilized
stimuli from psycholinguistic studies showing that humans can condition
reference (i.e. coreference resolution) and syntactic processing on the same
discourse structure (implicit causality). We compared both transformer and long
short-term memory LMs to find that, contrary to humans, implicit causality only
influences LM behavior for reference, not syntax, despite model representations
that encode the necessary discourse information. Our results further suggest
that LM behavior can contradict not only learned representations of discourse
but also syntactic agreement, pointing to shortcomings of standard language
modeling.
- Abstract(参考訳): 大量のテキストで訓練された言語モデル(LM)は、抽象的な言語表現を取得すると主張されている。
我々の研究は、異なる言語表現間の相互作用を学習するLMの能力に焦点を当てて、これらの抽象化の堅牢性をテストする。
特に,同一の談話構造(単純な因果性)上で,人間の条件参照(コア参照解決)と構文処理が可能であることを示す心理言語学的研究からの刺激を利用した。
トランスフォーマーとlong short term memory lmsを比較し、人間とは対照的に、暗黙的因果関係は、必要な談話情報をエンコードするモデル表現にもかかわらず、参照のためのlm行動にのみ影響することを発見した。
さらに,本研究の結果から,学習した言論表現だけでなく構文合意も矛盾し,標準言語モデリングの欠点を指摘できる可能性が示唆された。
関連論文リスト
- Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。
最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。
InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
論文 参考訳(メタデータ) (2023-05-26T13:30:48Z) - Language Models as Agent Models [42.37422271002712]
LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。
今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
論文 参考訳(メタデータ) (2022-12-03T20:18:16Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳(メタデータ) (2022-10-07T14:21:30Z) - Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。
LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。
また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
論文 参考訳(メタデータ) (2022-05-23T17:01:13Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z) - A learning perspective on the emergence of abstractions: the curious
case of phonemes [2.580765958706854]
言語訓練のない言語使用者を対象に,言語知識の発達に関する2つの原則を検証した。
MBL と ECL が言語抽象化に類似した言語知識を創出できるかどうかを調査した。
ECL学習モデルは抽象化を学習でき、少なくとも携帯電話の在庫の少なくとも一部を入力から確実に識別できることを示す。
論文 参考訳(メタデータ) (2020-12-14T13:33:34Z) - Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models [27.91397366776451]
遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
論文 参考訳(メタデータ) (2020-04-30T06:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。