論文の概要: Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Measures

• arxiv url: http://arxiv.org/abs/2502.11150v2
• Date: Mon, 19 May 2025 14:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.460427
• Title: Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Measures
• Title（参考訳）: 視線追跡に基づく自動可読性評価尺度の認知的評価
• Authors: Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak,
• Abstract要約: 本稿では,視線追跡に基づく認知フレームワークを提案する。 我々は,この枠組みを用いて,教育に広く用いられている2つのシステムを含む,幅広い可読性の評価を行う。 分析の結果,既存の可読性尺度は読みやすさや読みやすさの予測因子に乏しいことが示唆された。
• 参考スコア（独自算出の注目度）: 1.2062053320259833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated text readability prediction is widely used in many real-world scenarios. Over the past century, such measures have primarily been developed and evaluated on reading comprehension outcomes and on human annotations of text readability levels. In this work, we propose an alternative, eye tracking-based cognitive framework which directly taps into a key aspect of readability: reading ease. We use this framework for evaluating a broad range of prominent readability measures, including two systems widely used in education, by quantifying their ability to account for reading facilitation effects in text simplification, as well as text reading ease more broadly. Our analyses suggest that existing readability measures are poor predictors of reading facilitation and reading ease, outperformed by word properties commonly used in psycholinguistics, and in particular by surprisal.
• Abstract（参考訳）: テキストの可読性の自動予測は多くの現実世界のシナリオで広く利用されている。 過去1世紀にわたり、このような尺度は主として、理解結果の読解と、テキスト可読性レベルに関する人間のアノテーションに基づいて開発され、評価されてきた。 本研究では,視線追跡に基づく認知フレームワークを提案する。 本フレームワークは,テキストの簡易化における読解促進効果の定量化と,テキスト読解の容易化を両立させることにより,教育で広く利用されている2つのシステムを含む,幅広い可読性評価に使用される。 分析の結果,既存の読みやすさの指標は読みやすさや読みやすさの予測に乏しいことが示唆された。

関連論文リスト

• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Free-text Rationale Generation under Readability Level Control [6.338124510580766]
  我々は,可読性レベル制御の影響下で,大規模言語モデル (LLM) が合理的生成をいかに行うかを検討する。 要求された可読性は、しばしば測定されたテキストの複雑さと一致しないが、説明はそのような命令に適応できる。 我々のアノテータは、すべての可読性レベルにおける理性に対する概ね満足のいく印象を確認します。
  論文  参考訳（メタデータ） (2024-07-01T15:34:17Z)
• Previously on the Stories: Recap Snippet Identification for Story Reading [51.641565531840186]
  本稿では,手作り評価データセットを用いたRecap Snippet Identificationと呼ばれる,この有用なタスクに関する最初のベンチマークを提案する。 本実験により,提案課題は,提案課題がスニペット間のプロット相関の深い理解を必要とするため,PLM,LSM,および提案手法に難題であることが判明した。
  論文  参考訳（メタデータ） (2024-02-11T18:27:14Z)
• Improving Factual Consistency of News Summarization by Contrastive Preference Optimization [65.11227166319546]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 本稿では,LLMの適合性を解消し,忠実で偽のコンテンツを生成するコントラスト優先最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Generating Summaries with Controllable Readability Levels [67.34087272813821]
  テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。 現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。 可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
  論文  参考訳（メタデータ） (2023-10-16T17:46:26Z)
• LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
  我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。 我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。 i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
  論文  参考訳（メタデータ） (2023-10-04T11:49:37Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Readability Research: An Interdisciplinary Approach [62.03595526230364]
  我々は,可読性研究の包括的枠組みである可読性研究のための強固な基盤を提供することを目指している。 可読性(Readability)とは、ページから読み手への情報フローに影響を与える視覚情報設計の側面を指す。 これらのアスペクトはオンデマンドで修正可能で、読み手がテキストから処理し、意味を導き出すのが簡単になる。
  論文  参考訳（メタデータ） (2021-07-20T16:52:17Z)
• On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach [3.2326259807823026]
  我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。 これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
  論文  参考訳（メタデータ） (2021-04-13T19:34:17Z)
• Interactive Fiction Game Playing as Multi-Paragraph Reading Comprehension with Reinforcement Learning [94.50608198582636]
  対話型フィクション(IF)ゲームと実際の自然言語テキストは、言語理解技術に対する新たな自然な評価を提供する。 IFゲーム解決の新たな視点を捉え,MPRC(Multi-Passage Reading)タスクとして再フォーマットする。
  論文  参考訳（メタデータ） (2020-10-05T23:09:20Z)
• Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model [2.826553192869411]
  最先端のテキスト可読性評価モデルの効率は、深層強化学習モデルを用いてさらに改善することができる。 WeebitとCambridge ExamsのモデルとBERTテキスト可読性モデルのような最先端のモデルを比較すると、他のモデルよりもはるかに少ない入力テキストで最先端の精度を達成できることが示される。
  論文  参考訳（メタデータ） (2019-12-12T13:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。