論文の概要: LLM-based Text Simplification and its Effect on User Comprehension and Cognitive Load

• arxiv url: http://arxiv.org/abs/2505.01980v1
• Date: Sun, 04 May 2025 04:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.36308
• Title: LLM-based Text Simplification and its Effect on User Comprehension and Cognitive Load
• Title（参考訳）: LLMによるテキストの簡易化とそのユーザ理解と認知的負荷に及ぼす影響
• Authors: Theo Guidroz, Diego Ardila, Jimmy Li, Adam Mansour, Paul Jhun, Nina Gonzalez, Xiang Ji, Mike Sanchez, Sujay Kakarmath, Mathias MJ Bellaiche, Miguel Ángel Garrido, Faruk Ahmed, Divyansh Choudhary, Jay Hartford, Chenwei Xu, Henry Javier Serrano Echeverria, Yifan Wang, Jeff Shaffer, Eric, Cao, Yossi Matias, Avinatan Hassidim, Dale R Webster, Yun Liu, Sho Fujiwara, Peggy Bui, Quang Duong,
• Abstract要約: 我々は、最小損失のテキスト単純化のためのLLM機能を開発するために、自己補充手法を用いた。 被験者4563名と対象範囲の広さにまたがる31テキストを無作為に調査した。
• 参考スコア（独自算出の注目度）: 19.637267914743653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information on the web, such as scientific publications and Wikipedia, often surpasses users' reading level. To help address this, we used a self-refinement approach to develop a LLM capability for minimally lossy text simplification. To validate our approach, we conducted a randomized study involving 4563 participants and 31 texts spanning 6 broad subject areas: PubMed (biomedical scientific articles), biology, law, finance, literature/philosophy, and aerospace/computer science. Participants were randomized to viewing original or simplified texts in a subject area, and answered multiple-choice questions (MCQs) that tested their comprehension of the text. The participants were also asked to provide qualitative feedback such as task difficulty. Our results indicate that participants who read the simplified text answered more MCQs correctly than their counterparts who read the original text (3.9% absolute increase, p<0.05). This gain was most striking with PubMed (14.6%), while more moderate gains were observed for finance (5.5%), aerospace/computer science (3.8%) domains, and legal (3.5%). Notably, the results were robust to whether participants could refer back to the text while answering MCQs. The absolute accuracy decreased by up to ~9% for both original and simplified setups where participants could not refer back to the text, but the ~4% overall improvement persisted. Finally, participants' self-reported perceived ease based on a simplified NASA Task Load Index was greater for those who read the simplified text (absolute change on a 5-point scale 0.33, p<0.05). This randomized study, involving an order of magnitude more participants than prior works, demonstrates the potential of LLMs to make complex information easier to understand. Our work aims to enable a broader audience to better learn and make use of expert knowledge available on the web, improving information accessibility.
• Abstract（参考訳）: 科学出版物やウィキペディアなどのウェブ上の情報は、しばしばユーザーの読書レベルを超える。 この問題に対処するために、我々は、最小損失のテキスト単純化のためのLLM機能を開発するために、自己補充アプローチを用いた。 提案手法を検証するために, PubMed (生物科学的論文), 生物学, 法学, 金融学, 文献・哲学, 航空宇宙・コンピュータ科学の6分野にまたがる4563名の参加者と31名のテキストを対象としたランダム化調査を行った。 被験者は、対象領域で原文または簡易テキストを見るためにランダム化され、テキストの理解をテストした複数の選択質問(MCQ)に回答した。 参加者はタスクの難易度などの質的なフィードバックも要求された。 以上の結果から, 簡略化された文章を読解した被験者は, 原文を読解した被験者よりもMCQの回答が多かった(3.9%, p<0.05)。 この利益はPubMed (14.6%) で最も顕著であり、金融(5.5%)、航空宇宙/コンピュータ科学(3.8%)ドメイン、合法(3.5%)ではより穏健な利益が見られた。 特に、参加者がMCQに回答しながらテキストを参照できるかどうかについては、結果が堅牢であった。 絶対精度は、参加者がテキストを参照できないオリジナルの設定と単純化された設定の両方で最大で ~9% まで低下したが、全体の ~4% の改善は継続された。 最後に、単純化されたNASAタスク負荷指標に基づく参加者の自己申告の容易さは、簡略化されたテキストを読む人の方が大きい(5点スケール0.33, p<0.05)。 このランダム化研究は、先行研究よりも桁違いに多くの参加者を巻き込み、複雑な情報を理解しやすくするLLMの可能性を実証している。 我々の研究は、Web上で利用可能な専門家の知識をよりよく学び、活用し、情報アクセシビリティを向上させることを目的としています。

関連論文リスト

• Reading Between the Lines: A dataset and a study on why some texts are tougher than others [0.20482269513546458]
  本研究の目的は,知的障害のある特定の観衆に対して,テキストの読解が難しいことの理解を深めることである。 本稿では,心理学における経験的研究に基づく難易度アノテーションの体系について紹介する。 マルチクラス分類のタスクを実行するために,4種類の事前学習型トランスフォーマーモデルを微調整した。
  論文  参考訳（メタデータ） (2025-01-03T13:09:46Z)
• Evaluating LLMs for Targeted Concept Simplification for Domain-Specific Texts [53.421616210871704]
  コンテクストの欠如と難解な概念に対する不慣れさは、大人の読者がドメイン固有のテキストに難渋する大きな理由である。 テキストの書き直しを簡略化し,不慣れな概念を含むテキストの理解を支援する「目標概念の簡略化」を提案する。 本研究は,オープンソースおよび商用LLMの性能と,この課題に対する簡単な辞書ベースラインのベンチマークを行う。
  論文  参考訳（メタデータ） (2024-10-28T05:56:51Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Learning to Rewrite: Generalized LLM-Generated Text Detection [19.9477991969521]
  大規模言語モデル(LLM)は、非現実的コンテンツを生成し、大規模に偽情報を拡散する際に大きなリスクをもたらす。 本稿では、未知の領域に例外的な一般化を伴うAI生成テキストを検出するための新しいフレームワークであるLearning2Rewriteを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T05:53:39Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• Do LLMs Implicitly Determine the Suitable Text Difficulty for Users? [29.6000895693808]
  大規模言語モデルでは,ユーザ入力と生成されたテキスト間のテキストの難易度を暗黙的に処理できることを示す。 一部のLLMは、テキストの難易度や命令調整の重要性に人間を超えることができる。
  論文  参考訳（メタデータ） (2024-02-22T11:16:23Z)
• Digital Comprehensibility Assessment of Simplified Texts among Persons with Intellectual Disabilities [2.446971913303003]
  本研究は,タブレットコンピュータ上でドイツ語のテキストを読み取る知的障害を有する者を含むテキスト理解度の評価を行った。 複数選択的理解質問、難易度評価、応答時間、読解速度の4つの異なる方法について検討した。 知的障害者の対象群では,読解速度の分析が参加者の読解行動に有意な洞察を与える一方で,最も信頼性の高い尺度として理解的疑問が出現した。
  論文  参考訳（メタデータ） (2024-02-20T15:37:08Z)
• Text Simplification of Scientific Texts for Non-Expert Readers [3.4761212729163318]
  科学的な抽象化の単純化は、非専門家がコア情報にアクセスするのに役立つ。 これは、例えば、新しい治療法について読んでいるがん患者に特に関係している。
  論文  参考訳（メタデータ） (2023-07-07T13:05:11Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。