Fugu-MT 論文翻訳(概要): Collateral facilitation in humans and language models

論文の概要: Collateral facilitation in humans and language models

arxiv url: http://arxiv.org/abs/2211.05198v1
Date: Wed, 9 Nov 2022 21:08:08 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 14:19:42.457514
Title: Collateral facilitation in humans and language models
Title（参考訳）: 人間と言語モデルの協調的ファシリテーション
Authors: James A. Michaelov, Benjamin K. Bergen
Abstract要約: 人間は、非常に異常な単語に対して、同様の処理の利点を示す。本稿では、人間の言語理解と言語モデルによる予測の両方を理解することの意味について論じる。
参考スコア（独自算出の注目度）: 0.6091702876917281
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Are the predictions of humans and language models affected by similar things? Research suggests that while comprehending language, humans make predictions about upcoming words, with more predictable words being processed more easily. However, evidence also shows that humans display a similar processing advantage for highly anomalous words when these words are semantically related to the preceding context or to the most probable continuation. Using stimuli from 3 psycholinguistic experiments, we find that this is also almost always also the case for 8 contemporary transformer language models (BERT, ALBERT, RoBERTa, XLM-R, GPT-2, GPT-Neo, GPT-J, and XGLM). We then discuss the implications of this phenomenon for our understanding of both human language comprehension and the predictions made by language models.
Abstract（参考訳）: 人間と言語モデルの予測は類似するものの影響を受けますか? 言語を理解する一方で、人間は今後の単語について予測し、予測可能な単語をより容易に処理できると研究は示唆している。しかし、これらの単語が前者の文脈や最も可能性の高い継続と意味的に関連している場合、人間は、非常に異常な単語に対して同様の処理の利点を示すことを示す証拠もある。 3つの心理言語実験からの刺激を用いて、これはほぼ常に8つの現代トランスフォーマー言語モデル(BERT, ALBERT, RoBERTa, XLM-R, GPT-2, GPT-Neo, GPT-J, XGLM)にも当てはまる。次に、この現象が人間の言語理解と言語モデルによる予測の両方の理解に与える影響について論じる。

関連論文リスト

A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles [0.06554326244334868]
我々は,人間の議論的役割処理に関する心理言語学的研究を再現することにより,大規模言語モデルの議論的役割に対する感受性を評価する。言語モデルでは,動詞とその先行する引数の関係から,可否が決定されるような,可否的かつ不可解な文脈で現れる動詞を識別することができる。このことは、言語モデルが動詞の可読性を検出する能力は、人間のリアルタイム文処理の基盤となるメカニズムから生じるものではないことを示唆している。
論文参考訳（メタデータ） (2024-10-21T16:05:58Z)
Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文参考訳（メタデータ） (2023-10-10T08:24:28Z)
Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
本研究では,11言語における副次的時間と読解時間の関係について検討する。より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
論文参考訳（メタデータ） (2023-07-07T15:37:50Z)
Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文参考訳（メタデータ） (2023-06-20T10:41:23Z)
Do large language models resemble humans in language use? [1.8524806794216748]
ChatGPTやVicunaのような大規模言語モデル(LLM)は、言語を解釈し、生成する際、顕著な能力を示している。私たちはChatGPTとVicunaを、音から対話、事前登録、実験1回につき1000ラン(イテレーション)の12の実験に応用した。 ChatGPTとVicunaは、それぞれ12の実験のうち10と7で人間の言語使用パターンを再現した。
論文参考訳（メタデータ） (2023-03-10T10:47:59Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Do Large Language Models know what humans know? [6.2997667081978825]
本稿では,False Belief Task の言語版を人間と大規模言語モデル GPT-3 に提示する。どちらも他人の信念に敏感であるが、言語モデルは確率的行動を大幅に上回るが、人間に劣らず、その行動の完全な範囲を説明できない。これは、言語曝露による統計的学習が、人間が他人の精神状態について推論する能力をいかに発達させるかを説明する一方で、他のメカニズムも責任を負っていることを示唆している。
論文参考訳（メタデータ） (2022-09-04T01:29:53Z)
Do language models make human-like predictions about the coreferents of Italian anaphoric zero pronouns? [0.6091702876917281]
12の現代言語モデルが、ゼロ代名詞の文に晒されたときの人間の振舞いを反映する期待を示すかどうかを検証した。 XGLM 2.9B、4.5B、7.5Bの3つのモデルが、全ての実験から人間の行動を捉えている。この結果は、コア推論に対する人間の期待は、言語への露出から導き出すことができ、また、人間の振る舞いをよりよく反映できる言語モデルの特徴を示すことを示唆している。
論文参考訳（メタデータ） (2022-08-30T22:06:07Z)
It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文参考訳（メタデータ） (2021-08-31T21:46:35Z)
PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World [86.21137454228848]
我々はPIGLeTを物理力学モデルと別言語モデルに分類する。 PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。 80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
論文参考訳（メタデータ） (2021-06-01T02:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。