論文の概要: On the Automatic Generation and Simplification of Children's Stories
- arxiv url: http://arxiv.org/abs/2310.18502v1
- Date: Fri, 27 Oct 2023 21:31:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 18:21:44.472846
- Title: On the Automatic Generation and Simplification of Children's Stories
- Title(参考訳): 子どもの物語の自動生成と簡易化について
- Authors: Maria Valentini, Jennifer Weber, Jesus Salcido, T\'ea Wright, Eliana
Colunga, Katharina Kann
- Abstract要約: まず,語彙と可読性を適切に調整したストーリを生成するために,いくつかの人気言語モデルの能力について検討する。
第2の実験として、子どもの物語の領域に一般化する最先端の語彙的単純化モデルについて検討する。
その結果,過去最強の語彙単純化モデルは,背景にある大きな言語モデルに依存しているため,子ども向けの素材としてはあまり機能しないことがわかった。
- 参考スコア(独自算出の注目度): 14.465545222216749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With recent advances in large language models (LLMs), the concept of
automatically generating children's educational materials has become
increasingly realistic. Working toward the goal of age-appropriate simplicity
in generated educational texts, we first examine the ability of several popular
LLMs to generate stories with properly adjusted lexical and readability levels.
We find that, in spite of the growing capabilities of LLMs, they do not yet
possess the ability to limit their vocabulary to levels appropriate for younger
age groups. As a second experiment, we explore the ability of state-of-the-art
lexical simplification models to generalize to the domain of children's stories
and, thus, create an efficient pipeline for their automatic generation. In
order to test these models, we develop a dataset of child-directed lexical
simplification instances, with examples taken from the LLM-generated stories in
our first experiment. We find that, while the strongest-performing current
lexical simplification models do not perform as well on material designed for
children due to their reliance on large language models behind the scenes, some
models that still achieve fairly strong results on general data can mimic or
even improve their performance on children-directed data with proper
fine-tuning, which we conduct using our newly created child-directed
simplification dataset.
- Abstract(参考訳): 近年の大型言語モデル (LLM) の進歩により, 子どもの教材を自動的に生成するという概念が現実化しつつある。
生成した教育用テキストにおける年齢不適切な単純さの目標に向けて,まず,適切な語彙レベルと可読性レベルを調整した物語を生成するために,いくつかの人気のあるLCMの能力を検討する。
llmの能力が増大しているにもかかわらず、彼らはまだ若い年齢層に適したレベルまで語彙を制限する能力を持っていないことが分かっています。
第2の実験として,子どもの物語の領域に一般化し,その自動生成のための効率的なパイプラインを作成するための,最先端の語彙単純化モデルの能力について検討する。
これらのモデルを検証するために、最初の実験でLLM生成した物語を例に、子指向の語彙単純化事例のデータセットを開発する。
現状の語彙単純化モデルは、背景にある大きな言語モデルに依存しているため、子供向けに設計された素材ではあまり性能が良くないが、一般的なデータでかなり強力な結果が得られるモデルの中には、適切な微調整を施した子供向けデータで、そのパフォーマンスを模倣または改善できるものもある。
関連論文リスト
- Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。
本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。
生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文 参考訳(メタデータ) (2024-03-14T08:18:59Z) - Evolving Knowledge Distillation with Large Language Models and Active
Learning [46.85430680828938]
大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。
従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。
EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
論文 参考訳(メタデータ) (2024-03-11T03:55:24Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Trustworthiness of Children Stories Generated by Large Language Models [0.0]
本研究では,大規模言語モデルによる子どもの物語の信頼性を評価する。
以上の結果から, LLMは, 実際の物語に見られる品質やニュアンスレベルにおいて, 子どもの物語を生み出すのに苦慮していることが示唆された。
論文 参考訳(メタデータ) (2023-07-25T22:55:51Z) - Empower Your Model with Longer and Better Context Comprehension [15.377707808279908]
大規模言語モデル(LLM)における情報伝達の性質について検討する。
本研究では,より長いコンテキスト理解を実現するために,意識遷移と呼ばれる新しい手法を提案する。
LLaMa-7bモデルを用いて,800年から1900年までのコンテクストトークン長を持つXSumデータセットについて実験を行った。
論文 参考訳(メタデータ) (2023-07-25T09:34:42Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳(メタデータ) (2023-01-24T02:44:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。