論文の概要: Modeling semantic association in self-paced reading with language model embeddings

• arxiv url: http://arxiv.org/abs/2606.07066v1
• Date: Fri, 05 Jun 2026 09:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.655027
• Title: Modeling semantic association in self-paced reading with language model embeddings
• Title（参考訳）: 言語モデル埋め込みによる自己ペースト読解における意味的関連のモデル化
• Authors: Sara Møller Østergaard, Kenneth Enevoldsen, Afra Alishahi, Bruno Nicenboim,
• Abstract要約: 我々は,脳波コーパス(EEG)のセマンティック・アソシエーション(意味的関連)を推定するために,LMの埋め込みを用いて,自然のオランダ語のテキストをセルフペーストで読み取る。 埋め込みモデルの選択は、N400とセルフペースの読書時間の両方に意味的関連が及ぼす推定効果を変化させる可能性がある。
• 参考スコア（独自算出の注目度）: 1.647226581907515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic association between a word and its context has been identified as an important component of reading comprehension, even when word predictability is accounted for. Recent research has highlighted the potential of language model ( LM) embeddings to quantify semantic association. Yet, embedding-based semantic association have been operationalized in a myriad of ways. In this study, we use embeddings from LMs to estimate semantic association on a corpus of joint electroencephalography (EEG) and self-paced reading of natural, Dutch texts. Semantic association is calculated in ten different implementations that vary the embedding model and context lengths. The effects of semantic association across the different implementations on the N400 and self-paced reading times are examined using Bayesian hierarchical models and Bayes factor. The results show that the choice of embedding model can alter the estimated effect of semantic association on both the N400 and self-paced reading times. Furthermore, the results demonstrate a promising potential of sentence embeddings for capturing semantic association, as only implementations relying on sentence embeddings indicate reliable results of semantic association beyond word predictability on both neural and behavioral measures. Together, these findings highlight the importance of methodological choices in quantifying semantic association.
• Abstract（参考訳）: 単語と文脈のセマンティックな関連性は,単語の予測可能性を考慮しても,読み理解の重要な構成要素として認識されている。 近年の研究では、意味的関連を定量化する言語モデル(LM)埋め込みの可能性を強調している。 しかし、埋め込みに基づくセマンティックアソシエーションは、無数の方法で運用されている。 本研究では,共同脳波コーパス(EEG)と自然のオランダ語テキストのセルフペースト読解における意味的関連を推定するために,LMの埋め込みを用いて検討した。 セマンティックアソシエーションは、埋め込みモデルとコンテキスト長が異なる10の異なる実装で計算される。 異なる実装間のセマンティックアソシエーションがN400およびセルフペース読み込み時間に及ぼす影響をベイズ階層モデルとベイズ因子を用いて検討した。 その結果, 埋め込みモデルの選択は, N400とセルフペースの読解時間の両方に意味的関連が及ぼす推定効果を変化させることを示した。 さらに, 文の埋め込みに頼った実装だけでは, 単語予測能力以上のセマンティック・アソシエーションの信頼性のある結果が, ニューラルネットワークと行動計測の両方で示されるので, セマンティック・アソシエーションを捕捉するための文埋め込みの可能性を示す。 これらの知見は,セマンティックアソシエーションの定量化における方法論的選択の重要性を浮き彫りにした。

関連論文リスト

• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Lexical semantics enhanced neural word embeddings [4.040491121427623]
  階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。 その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-03T08:10:23Z)
• Synonym Detection Using Syntactic Dependency And Neural Embeddings [3.0770051635103974]
  ベクトル空間モデルを用いた分布意味論の導出における構文依存の役割について検討する。 本研究は,ニューラルネットワークへの人間のコンパイルした意味知識の注入が分散分布の類似性に及ぼす影響について検討する。 この結果から,構文的条件付きコンテキストは,非条件付きコンテキストよりも語彙的意味論の解釈が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-30T03:16:41Z)
• Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings [0.0]
  本研究は、5つの異なる静的単語埋め込みアーキテクチャの属性的単語関連を評価することを目的とする。 その結果, 組込み学習における文脈学習のフレーバーの選択は, 学習コーパスにおける単語の関連性や単語の組込み感に影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T22:27:18Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。