論文の概要: Integrating large language models and active inference to understand eye
movements in reading and dyslexia
- arxiv url: http://arxiv.org/abs/2308.04941v2
- Date: Sat, 24 Feb 2024 10:55:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 00:39:55.372251
- Title: Integrating large language models and active inference to understand eye
movements in reading and dyslexia
- Title（参考訳）: 読解・読字障害における眼球運動理解のための大規模言語モデルと能動的推論の統合
- Authors: Francesco Donnarumma, Mirco Frosolone and Giovanni Pezzulo
- Abstract要約: 本稿では,階層型能動推論を用いた新しい計算モデルを提案し,視線と視線の動きをシミュレートする。
本モデルでは、失読症などの読取時の眼球運動に対する不適応推論効果の探索を可能にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present a novel computational model employing hierarchical active
inference to simulate reading and eye movements. The model characterizes
linguistic processing as inference over a hierarchical generative model,
facilitating predictions and inferences at various levels of granularity, from
syllables to sentences.
Our approach combines the strengths of large language models for realistic
textual predictions and active inference for guiding eye movements to
informative textual information, enabling the testing of predictions. The model
exhibits proficiency in reading both known and unknown words and sentences,
adhering to the distinction between lexical and nonlexical routes in dual-route
theories of reading. Notably, our model permits the exploration of maladaptive
inference effects on eye movements during reading, such as in dyslexia. To
simulate this condition, we attenuate the contribution of priors during the
reading process, leading to incorrect inferences and a more fragmented reading
style, characterized by a greater number of shorter saccades. This alignment
with empirical findings regarding eye movements in dyslexic individuals
highlights the model's potential to aid in understanding the cognitive
processes underlying reading and eye movements, as well as how reading deficits
associated with dyslexia may emerge from maladaptive predictive processing.
In summary, our model represents a significant advancement in comprehending
the intricate cognitive processes involved in reading and eye movements, with
potential implications for understanding and addressing dyslexia through the
simulation of maladaptive inference. It may offer valuable insights into this
condition and contribute to the development of more effective interventions for
treatment.
- Abstract（参考訳）: 本稿では,階層的アクティブ推論を用いた新しい計算モデルを提案する。
このモデルは言語処理を階層的生成モデル上の推論として特徴付け、音節から文まで様々なレベルの粒度での予測と推論を容易にする。
提案手法は,現実的なテキスト予測のための大規模言語モデルの強みと,情報的テキスト情報に目の動きを導くアクティブ推論を組み合わせ,予測の検証を可能にする。
このモデルは、未知の単語と文の両方を読む能力を示し、読みの二重ルート理論における語彙経路と非語彙経路の区別を裏付ける。
特に本モデルでは,失読症などの読取時の眼球運動に対する不適応推論効果の探索が可能である。
この条件をシミュレートするために,読解過程における先行者の寄与を弱め,誤り推論とより断片化された読解スタイルを導出し,より少ないサッケードを特徴とする。
失読症者における眼球運動に関する経験的知見との整合性は、読影と眼球運動に基づく認知過程の理解を助けるモデルの可能性と、失読症に関連する読影障害が不適応な予測処理からどのように現れるかを明らかにする。
要約すると,本モデルは,読解・眼球運動に関わる複雑な認知過程の理解における重要な進歩であり,不適応推論のシミュレーションを通じて失読の理解と対処の可能性を示唆している。
この状態に関する貴重な洞察を提供し、治療のためのより効果的な介入の開発に寄与する可能性がある。
関連論文リスト
- Tokensome: Towards a Genetic Vision-Language GPT for Explainable and Cognitive Karyotyping [7.101960527853822]
Tokensomeは、染色体トークン化に基づく新しい視覚言語モデルである。
トケソームは、従来の視覚知覚層から認知的意思決定層へとメソッドを上昇させる。
論文 参考訳（メタデータ） (2024-03-17T03:38:50Z) - Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。
復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
論文 参考訳（メタデータ） (2023-12-05T07:29:14Z) - Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。
本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。
4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-06T01:57:36Z) - Eyettention: An Attention-based Dual-Sequence Model for Predicting Human
Scanpaths during Reading [3.9766585251585282]
我々は、単語列と時間列の固定を同時に処理する最初の二重系列モデルであるEyettentionを開発する。
スキャンパスの予測において、Eyettentionは最先端のモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-21T07:26:49Z) - Eye-tracking based classification of Mandarin Chinese readers with and
without dyslexia using neural sequence models [7.639036130018945]
文全体の特徴を集約することなく刺激全体の眼球運動を処理する2つの簡単なシーケンスモデルを提案する。
言語刺激を,文脈的単語埋め込みと手作業による言語的特徴抽出という2つの方法でモデルに組み込む。
以上の結果から, (i) 中国語などの書体であっても, シークエンスモデルでは視線上のディプレクシアを分類し, 最先端のパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-18T12:57:30Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳（メタデータ） (2022-04-05T12:52:45Z) - Going Beyond Saliency Maps: Training Deep Models to Interpret Deep
Models [16.218680291606628]
解釈性は、複雑な深層学習モデルを用いて脳障害の理解を進める上で重要な要素である。
疾患のパターンを注入または除去するために、与えられたイメージを歪めることができるシミュレーターネットワークを訓練することを提案する。
本研究は,アルツハイマー病とアルコール使用障害の影響を可視化するために,合成データセットと2つのニューロイメージングデータセットで訓練された分類器の解釈に応用する。
論文 参考訳（メタデータ） (2021-02-16T15:57:37Z) - On-the-Fly Attention Modularization for Neural Generation [54.912042110885366]
生成したテキストは反復的であり,汎用的であり,自己矛盾であり,常識を欠いている。
本研究は,インダクティブバイアスを推論中に注入する簡易かつ効果的な手法である,オンザフライアテンション・モダナイゼーションを動機とする。
論文 参考訳（メタデータ） (2021-01-02T05:16:46Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳（メタデータ） (2020-12-06T20:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。