論文の概要: Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level
Neural State Classification in Semantic Inference Reading Comprehension
- arxiv url: http://arxiv.org/abs/2309.15714v2
- Date: Tue, 17 Oct 2023 17:17:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 20:28:33.843708
- Title: Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level
Neural State Classification in Semantic Inference Reading Comprehension
- Title（参考訳）: セマンティック推論読解における単語レベルニューラル状態分類のためのLLM, EEG, アイトラックバイオマーカー解析の統合
- Authors: Yuhong Zhang, Qin Li, Sujal Nahata, Tasnia Jamal, Shih-kuen Cheng,
Gert Cauwenberghs, Tzyy-Ping Jung
- Abstract要約: 本研究は、意味的関係読解作業中の個人の神経状態に関する洞察を提供することを目的とする。
本研究では,LLM,視線,脳波(EEG)データを共同で分析し,読解中にキーワードに関連性のある単語をどのように処理するかについて検討する。
- 参考スコア（独自算出の注目度）: 4.390968520425543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the recent proliferation of large language models (LLMs), such as
Generative Pre-trained Transformers (GPT), there has been a significant shift
in exploring human and machine comprehension of semantic language meaning. This
shift calls for interdisciplinary research that bridges cognitive science and
natural language processing (NLP). This pilot study aims to provide insights
into individuals' neural states during a semantic relation
reading-comprehension task. We propose jointly analyzing LLMs, eye-gaze, and
electroencephalographic (EEG) data to study how the brain processes words with
varying degrees of relevance to a keyword during reading. We also use a feature
engineering approach to improve the fixation-related EEG data classification
while participants read words with high versus low relevance to the keyword.
The best validation accuracy in this word-level classification is over 60\%
across 12 subjects. Words of high relevance to the inference keyword had
significantly more eye fixations per word: 1.0584 compared to 0.6576 when
excluding no-fixation words, and 1.5126 compared to 1.4026 when including them.
This study represents the first attempt to classify brain states at a word
level using LLM knowledge. It provides valuable insights into human cognitive
abilities and the realm of Artificial General Intelligence (AGI), and offers
guidance for developing potential reading-assisted technologies.
- Abstract（参考訳）: 近年,GPT(Generative Pre-trained Transformers)など,大規模言語モデル(LLM)の普及に伴い,意味言語の意味の人間的・機械的理解の探究に大きな変化が見られた。
このシフトは、認知科学と自然言語処理(NLP)を橋渡しする学際的な研究を要求する。
本研究の目的は,意味的関係理解タスクにおける個人の神経状態に関する洞察を提供することである。
本研究では,LLM,視線,脳波(EEG)データを共同で分析し,読解中にキーワードに関連性のある単語をどのように処理するかを検討する。
また,係留関連脳波データ分類の改善に機能工学的アプローチを適用し,キーワードの関連性が高い単語と低い単語を被験者が読み取る。
この単語レベルの分類における最良の検証精度は、12の被験者に対して60\%以上である。
推論キーワードの関連性が高い単語は1語あたり眼の固定が有意に高かった: 1.0584 は0.6576 であり、非固定語を除くと 0.5126 であり、それらを含むと 1.4026 である。
この研究は、LLM知識を用いて単語レベルで脳状態を分類する最初の試みである。
人間の認知能力と人工知能(AGI)の領域に関する貴重な洞察を提供し、読み取り支援技術を開発するためのガイダンスを提供する。
関連論文リスト
- Can large language models understand uncommon meanings of common words? [30.527834781076546]
大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクに大きく進歩している。
しかし、LLMがオウムなのか、本当の意味で世界を理解するのかは、広く認知されている試験機構が欠如している。
本稿では,新しい評価指標を用いたレキシカルセマンティックデータセットの革新的構築について述べる。
論文 参考訳（メタデータ） (2024-05-09T12:58:22Z) - A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation [0.0]
本稿では自然言語処理(NLP)分野における言語におけるあいまいさの理解と解決に焦点を当てた手法について検討する。
ディープラーニング技術から、WordNetのような語彙的リソースや知識グラフの活用まで、さまざまなアプローチを概説している。
本研究は, 感覚アノテートコーパスの不足, 非公式な臨床テキストの複雑さなど, この分野における永続的な課題を明らかにした。
論文 参考訳（メタデータ） (2024-03-24T12:58:48Z) - Code-Switching with Word Senses for Pretraining in Neural Machine
Translation [107.23743153715799]
ニューラルネットワーク翻訳のための単語センス事前学習(WSP-NMT)について紹介する。
WSP-NMTは、知識ベースからの単語感覚情報を活用した多言語NMTモデルの事前学習のためのエンドツーエンドアプローチである。
実験の結果,全体の翻訳品質が大幅に向上した。
論文 参考訳（メタデータ） (2023-10-21T16:13:01Z) - BELT:Bootstrapping Electroencephalography-to-Language Decoding and
Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。
意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。
脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文 参考訳（メタデータ） (2023-09-21T13:24:01Z) - Information-Restricted Neural Language Models Reveal Different Brain
Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。
そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。
分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
論文 参考訳（メタデータ） (2023-02-28T08:16:18Z) - Representing Affect Information in Word Embeddings [5.378735006566249]
大規模ニューラルネットワークで事前学習した単語の埋め込みにおいて、単語の感情の意味がコード化されているかどうかを検討した。
埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。
論文 参考訳（メタデータ） (2022-09-21T18:16:33Z) - Unsupervised Multimodal Word Discovery based on Double Articulation
Analysis with Co-occurrence cues [7.332652485849632]
ヒトの幼児は、言語に関する最小限の事前知識で口頭語彙を取得する。
本研究では,音声単位を発見するための教師なし学習手法を提案する。
提案手法は教師なし学習を用いて音声信号から単語と音素を取得することができる。
論文 参考訳（メタデータ） (2022-01-18T07:31:59Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳（メタデータ） (2021-12-05T21:57:22Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-10T07:10:25Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。