論文の概要: Generating Educational Materials with Different Levels of Readability using LLMs

• arxiv url: http://arxiv.org/abs/2406.12787v1
• Date: Tue, 18 Jun 2024 16:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 17:59:05.008519
• Title: Generating Educational Materials with Different Levels of Readability using LLMs
• Title（参考訳）: LLMを用いた読みやすさの異なる教材の作成
• Authors: Chieh-Yang Huang, Jing Wei, Ting-Hao 'Kenneth' Huang,
• Abstract要約: 本研究は,学習資料を特定の読みやすさレベルに書き換えつつ,意味を保ちながら書き直すことを目的としたレベル付きテキスト生成タスクを提案する。 我々は,GPT-3.5,LLaMA-2 70B,Mixtral 8x7Bを用いて,ゼロショットと少数ショットのプロンプトによって,様々な可読性レベルのコンテンツを生成する能力を評価する。
• 参考スコア（独自算出の注目度）: 15.129717527061969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study introduces the leveled-text generation task, aiming to rewrite educational materials to specific readability levels while preserving meaning. We assess the capability of GPT-3.5, LLaMA-2 70B, and Mixtral 8x7B, to generate content at various readability levels through zero-shot and few-shot prompting. Evaluating 100 processed educational materials reveals that few-shot prompting significantly improves performance in readability manipulation and information preservation. LLaMA-2 70B performs better in achieving the desired difficulty range, while GPT-3.5 maintains original meaning. However, manual inspection highlights concerns such as misinformation introduction and inconsistent edit distribution. These findings emphasize the need for further research to ensure the quality of generated educational content.
• Abstract（参考訳）: 本研究は,学習資料を特定の読みやすさレベルに書き換えつつ,意味を保ちながら書き直すことを目的としたレベル付きテキスト生成タスクを提案する。 我々は,GPT-3.5,LLaMA-2 70B,Mixtral 8x7Bを用いて,ゼロショットと少数ショットのプロンプトによって,様々な可読性レベルのコンテンツを生成する能力を評価する。 処理した100の教材を評価すると、少ないショットが可読性操作や情報保存の性能を大幅に向上させることが明らかとなった。 LLaMA-2 70Bは所望の難易度域を達成するのに優れ、GPT-3.5は本来の意味を維持している。 しかし,手動検査では誤情報の導入や編集の不整合といった懸念が浮き彫りになっている。 これらの知見は、生成した教育コンテンツの品質を確保するためのさらなる研究の必要性を強調している。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Vision-Language Model Based Handwriting Verification [23.983430206133793]
  本稿では,OpenAI の GPT-4o や Google の PaliGemma などの視覚言語モデル (VLM) を用いてこれらの課題に対処する。 私たちの目標は、モデル決定に対して明確で人間に理解可能な説明を提供することです。
  論文  参考訳（メタデータ） (2024-07-31T17:57:32Z)
• BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
  本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。 我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。 BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
  論文  参考訳（メタデータ） (2024-02-19T14:28:31Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Generating Summaries with Controllable Readability Levels [67.34087272813821]
  テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。 現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。 可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
  論文  参考訳（メタデータ） (2023-10-16T17:46:26Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models [29.70397245624547]
  この研究は、材料学生の知識とスキルを必要とする材料領域から、650の挑戦的な質問のデータセットをキュレートする。 GPT-4はGPT-3.5と比較して最高の性能(62%の精度)を示した。
  論文  参考訳（メタデータ） (2023-08-17T17:51:05Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Diverse Linguistic Features for Assessing Reading Difficulty of Educational Filipino Texts [0.0]
  本稿では,フィリピンの教育用テキストの自動可読性評価モデルの開発について述べる。 その結果,ランダムフォレストモデルを用いた場合の精度は62.7%であった。
  論文  参考訳（メタデータ） (2021-07-31T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。