論文の概要: Evaluating LLMs for Targeted Concept Simplification forDomain-Specific Texts
- arxiv url: http://arxiv.org/abs/2410.20763v1
- Date: Mon, 28 Oct 2024 05:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:14:31.809932
- Title: Evaluating LLMs for Targeted Concept Simplification forDomain-Specific Texts
- Title（参考訳）: ドメイン特化テキストの目的概念簡易化のためのLLMの評価
- Authors: Sumit Asthana, Hannah Rashkin, Elizabeth Clark, Fantine Huot, Mirella Lapata,
- Abstract要約: コンテクストの欠如と難解な概念に対する不慣れさは、大人の読者がドメイン固有のテキストに難渋する大きな理由である。
テキストの書き直しを簡略化し,不慣れな概念を含むテキストの理解を支援する「目標概念の簡略化」を提案する。
本研究は,オープンソースおよび商用LLMの性能と,この課題に対する簡単な辞書ベースラインのベンチマークを行う。
- 参考スコア（独自算出の注目度）: 53.421616210871704
- License:
- Abstract: One useful application of NLP models is to support people in reading complex text from unfamiliar domains (e.g., scientific articles). Simplifying the entire text makes it understandable but sometimes removes important details. On the contrary, helping adult readers understand difficult concepts in context can enhance their vocabulary and knowledge. In a preliminary human study, we first identify that lack of context and unfamiliarity with difficult concepts is a major reason for adult readers' difficulty with domain-specific text. We then introduce "targeted concept simplification," a simplification task for rewriting text to help readers comprehend text containing unfamiliar concepts. We also introduce WikiDomains, a new dataset of 22k definitions from 13 academic domains paired with a difficult concept within each definition. We benchmark the performance of open-source and commercial LLMs and a simple dictionary baseline on this task across human judgments of ease of understanding and meaning preservation. Interestingly, our human judges preferred explanations about the difficult concept more than simplification of the concept phrase. Further, no single model achieved superior performance across all quality dimensions, and automated metrics also show low correlations with human evaluations of concept simplification ($\sim0.2$), opening up rich avenues for research on personalized human reading comprehension support.
- Abstract（参考訳）: NLPモデルの有用な応用の1つは、馴染みのないドメイン(例えば科学論文)から複雑なテキストを読むことを支援することである。
テキスト全体をシンプルにすれば理解できますが、時には重要な詳細を削除します。
逆に、大人の読者が文脈における難しい概念を理解するのを助けることは、語彙や知識を高めることができる。
人間の予備的な研究において、まず、難解な概念に対する文脈や不慣れさの欠如が、大人の読者がドメイン固有のテキストに難解な理由であることを示す。
テキストの書き直しを簡略化し,不慣れな概念を含むテキストの理解を支援する。
WikiDomainsも紹介します。13の学術領域から22k定義のデータセットで、それぞれの定義の中で難しい概念と組み合わせています。
我々は,オープンソースおよび商用LLMの性能をベンチマークし,この課題に対する簡単な辞書ベースラインと,理解の容易さと保存の意味の人的判断を比較検討した。
興味深いことに、私たちの人間の裁判官は、コンセプトフレーズを単純化するよりも、難解な概念の説明を好んだ。
さらに、すべての品質次元において優れた性能を達成できるモデルはなく、自動化されたメトリクスは、概念単純化(\sim0.2$)の人間評価との相関も低く、パーソナライズされた読解支援の研究のための豊かな道を開く。
関連論文リスト
- Can large language models understand uncommon meanings of common words? [30.527834781076546]
大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクに大きく進歩している。
しかし、LLMがオウムなのか、本当の意味で世界を理解するのかは、広く認知されている試験機構が欠如している。
本稿では,新しい評価指標を用いたレキシカルセマンティックデータセットの革新的構築について述べる。
論文 参考訳（メタデータ） (2024-05-09T12:58:22Z) - Digital Comprehensibility Assessment of Simplified Texts among Persons
with Intellectual Disabilities [2.446971913303003]
本研究は,タブレットコンピュータ上でドイツ語のテキストを読み取る知的障害を有する者を含むテキスト理解度の評価を行った。
複数選択的理解質問、難易度評価、応答時間、読解速度の4つの異なる方法について検討した。
知的障害者の対象群では,読解速度の分析が参加者の読解行動に有意な洞察を与える一方で,最も信頼性の高い尺度として理解的疑問が出現した。
論文 参考訳（メタデータ） (2024-02-20T15:37:08Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Are NLP Models Good at Tracing Thoughts: An Overview of Narrative
Understanding [21.900015612952146]
物語的理解は、著者の認知過程を捉え、その知識、意図、信念、欲求に関する洞察を提供する。
大きな言語モデル(LLM)は文法的に一貫性のあるテキストを生成するのに優れているが、著者の思考を理解する能力は依然として不明である。
これは物語理解の実践的な応用を妨げる。
論文 参考訳（メタデータ） (2023-10-28T18:47:57Z) - LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。
我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。
i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
論文 参考訳（メタデータ） (2023-10-04T11:49:37Z) - Text Simplification of Scientific Texts for Non-Expert Readers [3.4761212729163318]
科学的な抽象化の単純化は、非専門家がコア情報にアクセスするのに役立つ。
これは、例えば、新しい治療法について読んでいるがん患者に特に関係している。
論文 参考訳（メタデータ） (2023-07-07T13:05:11Z) - PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。
相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。
以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
論文 参考訳（メタデータ） (2023-06-07T15:37:00Z) - Elaborative Simplification as Implicit Questions Under Discussion [51.17933943734872]
本稿では,QUD フレームワークのレンズによる共同作業の簡略化について考察する。
本研究は,QUDを明示的にモデル化することで,作業の単純化と,作業内容と作業内容の関連性について,重要な理解が得られていることを示す。
論文 参考訳（メタデータ） (2023-05-17T17:26:16Z) - HALMA: Humanlike Abstraction Learning Meets Affordance in Rapid Problem
Solving [104.79156980475686]
人間は自然主義的タスクの構造に応じて構成的および因果的抽象化、つまり知識を学ぶ。
エージェントがその知識をどのように表現するかには、知覚、概念、アルゴリズムの3段階の一般化がある、と我々は主張する。
このベンチマークは、ビジュアルコンセプト開発と迅速な問題解決のための新しいタスクドメイン、HALMAを中心にしています。
論文 参考訳（メタデータ） (2021-02-22T20:37:01Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。