論文の概要: Modeling cognitive processes of natural reading with transformer-based Language Models

• arxiv url: http://arxiv.org/abs/2505.11485v1
• Date: Fri, 16 May 2025 17:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.780957
• Title: Modeling cognitive processes of natural reading with transformer-based Language Models
• Title（参考訳）: 変圧器に基づく言語モデルを用いた自然読解の認知過程のモデル化
• Authors: Bruno Bianchi, Fermín Travi, Juan E. Kamienkowski,
• Abstract要約: これまでの研究では、NグラムやLSTMネットワークのようなモデルが、眼球運動の振る舞いを説明する際の予測可能性の影響を部分的に説明できることが示されている。 本研究では, トランスフォーマーモデル(GPT2, LLaMA-7B, LLaMA2-7B)を評価し, この関係性について検討した。 以上の結果から,これらの構造は,リオ植物学のスペイン語読解者から記録されたガゼ期間の変動を説明する上で,先行モデルよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in Natural Language Processing (NLP) have led to the development of highly sophisticated language models for text generation. In parallel, neuroscience has increasingly employed these models to explore cognitive processes involved in language comprehension. Previous research has shown that models such as N-grams and LSTM networks can partially account for predictability effects in explaining eye movement behaviors, specifically Gaze Duration, during reading. In this study, we extend these findings by evaluating transformer-based models (GPT2, LLaMA-7B, and LLaMA2-7B) to further investigate this relationship. Our results indicate that these architectures outperform earlier models in explaining the variance in Gaze Durations recorded from Rioplantense Spanish readers. However, similar to previous studies, these models still fail to account for the entirety of the variance captured by human predictability. These findings suggest that, despite their advancements, state-of-the-art language models continue to predict language in ways that differ from human readers.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、テキスト生成のための高度に洗練された言語モデルの開発につながっている。 並行して、神経科学は言語理解に関わる認知過程を研究するためにこれらのモデルをますます採用している。 これまでの研究では、N-gramsやLSTM Networkのようなモデルが、読書中の眼球運動行動、特にGaz Durationを説明する際の予測可能性の影響を部分的に説明できることが示されている。 本研究では, トランスフォーマーモデル(GPT2, LLaMA-7B, LLaMA2-7B)を評価し, この関係性について検討した。 以上の結果から,これらの構造は,リオ植物学のスペイン語読解者から記録されたガゼ期間の変動を説明する上で,先行モデルよりも優れていたことが示唆された。 しかし、以前の研究と同様に、これらのモデルは人間の予測可能性によって得られた分散の全体性を考慮することができない。 これらの結果は、その進歩にもかかわらず、最先端の言語モデルは人間の読者とは異なる方法で言語を予測し続けていることを示唆している。

関連論文リスト

• Modelando procesos cognitivos de la lectura natural con GPT-2 [0.0]
  近年、神経科学は認知過程をよりよく理解するために言語モデルを用いてきた。 本研究は, GPT-2に基づくモデルを用いて, この研究の行を更に進めるものである。 その結果,従来のアーキテクチャよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-09-30T10:34:32Z)
• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。