論文の概要: Trustworthiness of Children Stories Generated by Large Language Models
- arxiv url: http://arxiv.org/abs/2308.00073v1
- Date: Tue, 25 Jul 2023 22:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-06 11:12:19.304661
- Title: Trustworthiness of Children Stories Generated by Large Language Models
- Title(参考訳): 大規模言語モデルによる子ども物語の信頼性
- Authors: Prabin Bhandari and Hannah Marie Brennan
- Abstract要約: 本研究では,大規模言語モデルによる子どもの物語の信頼性を評価する。
以上の結果から, LLMは, 実際の物語に見られる品質やニュアンスレベルにおいて, 子どもの物語を生み出すのに苦慮していることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown a tremendous capacity for generating
literary text. However, their effectiveness in generating children's stories
has yet to be thoroughly examined. In this study, we evaluate the
trustworthiness of children's stories generated by LLMs using various measures,
and we compare and contrast our results with both old and new children's
stories to better assess their significance. Our findings suggest that LLMs
still struggle to generate children's stories at the level of quality and
nuance found in actual stories
- Abstract(参考訳): 大規模言語モデル(llm)は、文学的テキストを生成する能力が非常に大きい。
しかし,子どもの物語を創出する効果については,まだ十分に検証されていない。
本研究では,LSMが生み出す子どもの物語の信頼度を,様々な尺度を用いて評価し,その結果と旧来の子どもの物語とを比較して,その意義をよりよく評価する。
以上の結果から, LLMは実話の質やニュアンスレベルにおいて, 子どもの物語の生成に苦慮していることが示唆された。
関連論文リスト
- Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。
3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。
以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文 参考訳(メタデータ) (2024-04-10T14:50:10Z) - Creating Suspenseful Stories: Iterative Planning with Large Language
Models [2.6923151107804055]
本稿では,ストーリー・サスペンスの2つの理論的基礎に根ざした,反復型提案型計画手法を提案する。
本論文は,我々の知る限りでは,大規模言語モデルを用いたサスペンスな物語生成の試みである。
論文 参考訳(メタデータ) (2024-02-27T01:25:52Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
論文 参考訳(メタデータ) (2023-10-30T08:40:16Z) - On the Automatic Generation and Simplification of Children's Stories [14.465545222216749]
まず,語彙と可読性を適切に調整したストーリを生成するために,いくつかの人気言語モデルの能力について検討する。
第2の実験として、子どもの物語の領域に一般化する最先端の語彙的単純化モデルについて検討する。
その結果,過去最強の語彙単純化モデルは,背景にある大きな言語モデルに依存しているため,子ども向けの素材としてはあまり機能しないことがわかった。
論文 参考訳(メタデータ) (2023-10-27T21:31:34Z) - Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。
GPT-3.5でさえ、実際の出力は25%以下である。
これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
論文 参考訳(メタデータ) (2023-10-23T04:39:01Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳(メタデータ) (2023-01-24T02:44:02Z) - How Adults Understand What Young Children Say [1.416276307599112]
子供の初期のスピーチは、形や内容において大人のスピーチとほとんど似ていないことが多いが、介護者は幼児の発話で意味を見出すことが多い。
早期コミュニケーションの成功は,子どもの言語知識の増大だけでなく,大人の高度な推論にも依存すると考えられる。
論文 参考訳(メタデータ) (2022-06-15T20:37:32Z) - MEGATRON-CNTRL: Controllable Story Generation with External Knowledge
Using Large-Scale Language Models [98.53511229517463]
本稿では,大規模言語モデルを用いた新しいフレームワークを提案し,外部知識ベースを組み込んだテキスト生成制御を提案する。
本フレームワークは,キーワード予測器,知識検索器,文脈知識ランキング器,条件付きテキスト生成器から構成される。
実験の結果、我々のモデルは、ROCストーリーデータセットの以前の作業と比較して、反復性が低く、多様性が低い、より流動的で、一貫性があり、一貫性のあるストーリーを生成します。
論文 参考訳(メタデータ) (2020-10-02T08:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。