論文の概要: Know Your Audience: Do LLMs Adapt to Different Age and Education Levels?
- arxiv url: http://arxiv.org/abs/2312.02065v1
- Date: Mon, 4 Dec 2023 17:19:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:30:48.131949
- Title: Know Your Audience: Do LLMs Adapt to Different Age and Education Levels?
- Title(参考訳): LLMは年齢や教育レベルに適応しているか?
- Authors: Donya Rooein, Amanda Cercas Curry, Dirk Hovy
- Abstract要約: 我々は、4つの最先端の大規模言語モデル(LLM)が生成する回答の可読性を評価する。
各年齢・教育集団の推奨理解レベルに対して生成した回答の可読性スコアを比較した。
我々の結果は、LLMの回答は、より理解しやすいように、意図した聴衆に適応する必要があることを示唆している。
- 参考スコア(独自算出の注目度): 21.302967282814784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) offer a range of new possibilities, including
adapting the text to different audiences and their reading needs. But how well
do they adapt? We evaluate the readability of answers generated by four
state-of-the-art LLMs (commercial and open-source) to science questions when
prompted to target different age groups and education levels. To assess the
adaptability of LLMs to diverse audiences, we compare the readability scores of
the generated responses against the recommended comprehension level of each age
and education group. We find large variations in the readability of the answers
by different LLMs. Our results suggest LLM answers need to be better adapted to
the intended audience demographics to be more comprehensible. They underline
the importance of enhancing the adaptability of LLMs in education settings to
cater to diverse age and education levels. Overall, current LLMs have set
readability ranges and do not adapt well to different audiences, even when
prompted. That limits their potential for educational purposes.
- Abstract(参考訳): 大きな言語モデル(LLM)は、テキストを異なるオーディエンスに適応させるなど、さまざまな新しい可能性を提供します。
しかし、どの程度順応するのか?
我々は,4つの最先端のLCM(商用およびオープンソース)による,異なる年齢層と教育レベルを対象にした科学質問に対する回答の可読性を評価する。
多様なオーディエンスに対するllmの適応性を評価するために,生成した応答の可読性スコアを,各年齢・教育グループの推奨理解レベルと比較した。
我々は、異なるllmによる回答の可読性に大きな変化を見出す。
以上の結果から, LLMの回答は, より理解しやすいように, 対象読者層に適応する必要があることが示唆された。
彼らは多様な年齢と教育水準に対応するために教育環境におけるllmの適応性を高めることの重要性を強調している。
全体として、現在のLLMは可読性の範囲を設定しており、刺激しても異なるオーディエンスに順応しない。
それは教育目的の可能性を制限します。
関連論文リスト
- Character is Destiny: Can Large Language Models Simulate Persona-Driven Decisions in Role-Playing? [59.0123596591807]
ペルソナ駆動意思決定における大規模言語モデルの能力のベンチマークを行う。
高品質な小説において, LLM が先行する物語の登場人物の判断を予測できるかどうかを考察する。
その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は十分にあることが示された。
論文 参考訳(メタデータ) (2024-04-18T12:40:59Z) - "Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing [10.20632187568563]
幻覚は現代大言語モデル(LLM)の最も脆弱な側面として現れてきた。
本稿では,LCMの幻覚を避けることを目的としたSCAプロンプトについて紹介する。
本稿では,21のLLMに対するプロンプトの形式性,可読性,具体性について,言語的ニュアンスを詳細に分析する。
与えられたプロンプトの最も理解しやすいパラフレーズを識別する最適なパラフレーズ化手法を提案する。
論文 参考訳(メタデータ) (2024-03-27T19:45:09Z) - When Do LLMs Need Retrieval Augmentation? Mitigating LLMs'
Overconfidence Helps Retrieval Augmentation [72.11942617502956]
大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。
Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。
本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
論文 参考訳(メタデータ) (2024-02-18T04:57:19Z) - When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for
Large Language Models [62.42534500424585]
本稿では,人間が理解し易いが,理解し難い質問を含むファラッキー理解ベンチマークを提案する。
具体的には、FLUBが焦点を当てている不気味な質問は、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招く質問から成り立っている。
LLMの誤り理解能力を評価するために,FLUBベンチマークの難易度を高める3つのタスクを設計する。
論文 参考訳(メタデータ) (2024-02-16T22:12:53Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
知識編集が大規模言語モデル(LLM)の知識を更新
既存の作業はこの特性を無視し、編集には一般化が欠けている。
実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
論文 参考訳(メタデータ) (2024-01-15T09:09:14Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-09-15T07:22:56Z) - Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs? [24.931467926497152]
Head-to-Tailは、ヘッド、トーソ、テールファクトに関する18Kの質問対で構成されるベンチマークである。
既存のLSMは、特に胴体と尾部の実体の事実において、事実知識の把握の観点からはまだ完璧ではないことを示す。
論文 参考訳(メタデータ) (2023-08-20T05:31:03Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳(メタデータ) (2023-05-17T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。