論文の概要: Context Limitations Make Neural Language Models More Human-Like
- arxiv url: http://arxiv.org/abs/2205.11463v1
- Date: Mon, 23 May 2022 17:01:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 21:06:31.976797
- Title: Context Limitations Make Neural Language Models More Human-Like
- Title(参考訳): コンテキスト制限は、ニューラルネットワークモデルをより人間らしくする
- Authors: Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, Kentaro Inui
- Abstract要約: インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。
LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。
また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
- 参考スコア(独自算出の注目度): 32.488137777336036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do modern natural language processing (NLP) models exhibit human-like
language processing? How can they be made more human-like? These questions are
motivated by psycholinguistic studies for understanding human language
processing as well as engineering efforts. In this study, we demonstrate the
discrepancies in context access between modern neural language models (LMs) and
humans in incremental sentence processing. Additional context limitation was
needed to make LMs better simulate human reading behavior. Our analyses also
showed that human-LM gaps in memory access are associated with specific
syntactic constructions; incorporating additional syntactic factors into LMs'
context access could enhance their cognitive plausibility.
- Abstract(参考訳): 現代自然言語処理(NLP)モデルは、人間のような言語処理を示すか?
どうやってより人間らしくできるのか?
これらの質問は、人間の言語処理と工学的取り組みを理解するための精神言語学の研究に動機づけられている。
本研究では,現代ニューラル言語モデル (LM) と人間による段階的な文処理における文脈アクセスの相違を実証する。
LMが人間の読書行動をより良くシミュレートするために、追加のコンテキスト制限が必要だった。
また,メモリアクセスにおけるヒトとLMのギャップは,特定の構文的構造と関連し,LMのコンテキストアクセスに追加の構文的要素を組み込むことで,認知的妥当性が向上する可能性が示唆された。
関連論文リスト
- Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Divergences between Language Models and Human Brains [63.405788999891335]
最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。
我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。
我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
論文 参考訳(メタデータ) (2023-11-15T19:02:40Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - Training language models for deeper understanding improves brain
alignment [5.678337324555035]
言語を深く理解するシステムの構築は、自然言語処理(NLP)の中心的な目標の1つである。
より深い物語理解のための学習言語モデルにより、より豊かな表現が可能となり、人間の脳活動との整合性が向上したことを示す。
論文 参考訳(メタデータ) (2022-12-21T10:15:19Z) - Towards a neural architecture of language: Deep learning versus
logistics of access in neural architectures for compositional processing [0.0]
GPTと脳言語処理機構は根本的に異なる。
彼らは構成的で生産的な人間の言語処理に必要なアクセスのロジスティクスを持っていない。
学習方法を調べることで、深層学習で見られる「学習された認知」が脳内でどのように発達するかを明らかにすることができる。
論文 参考訳(メタデータ) (2022-10-19T13:31:26Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳(メタデータ) (2022-08-17T00:12:37Z) - Mediators: Conversational Agents Explaining NLP Model Behavior [2.7878644615660457]
人間中心の説明可能な人工知能(HCXAI)コミュニティは、人間と機械の会話として説明プロセスをフレーミングする必要性を高めた。
我々は、自然言語を用いて対話的に神経モデルの振る舞いを説明することができるテキストベースの会話エージェントである、メディエーターのためのデシラタを確立する。
論文 参考訳(メタデータ) (2022-06-13T10:31:18Z) - Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
人間は環境における実体を豊かに表現する。
ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。
本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
論文 参考訳(メタデータ) (2020-11-20T12:06:46Z) - Discourse structure interacts with reference but not syntax in neural
language models [17.995905582226463]
本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。
人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。
以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-10T03:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。