Fugu-MT 論文翻訳(概要): Trustworthiness of Children Stories Generated by Large Language Models

論文の概要: Trustworthiness of Children Stories Generated by Large Language Models

arxiv url: http://arxiv.org/abs/2308.00073v1
Date: Tue, 25 Jul 2023 22:55:51 GMT
ステータス: 処理完了
システム内更新日: 2023-08-06 11:12:19.304661
Title: Trustworthiness of Children Stories Generated by Large Language Models
Title（参考訳）: 大規模言語モデルによる子ども物語の信頼性
Authors: Prabin Bhandari and Hannah Marie Brennan
Abstract要約: 本研究では,大規模言語モデルによる子どもの物語の信頼性を評価する。以上の結果から, LLMは, 実際の物語に見られる品質やニュアンスレベルにおいて, 子どもの物語を生み出すのに苦慮していることが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have shown a tremendous capacity for generating literary text. However, their effectiveness in generating children's stories has yet to be thoroughly examined. In this study, we evaluate the trustworthiness of children's stories generated by LLMs using various measures, and we compare and contrast our results with both old and new children's stories to better assess their significance. Our findings suggest that LLMs still struggle to generate children's stories at the level of quality and nuance found in actual stories
Abstract（参考訳）: 大規模言語モデル(llm)は、文学的テキストを生成する能力が非常に大きい。しかし,子どもの物語を創出する効果については,まだ十分に検証されていない。本研究では,LSMが生み出す子どもの物語の信頼度を,様々な尺度を用いて評価し,その結果と旧来の子どもの物語とを比較して,その意義をよりよく評価する。以上の結果から, LLMは実話の質やニュアンスレベルにおいて, 子どもの物語の生成に苦慮していることが示唆された。

関連論文リスト

Small Language Models can Outperform Humans in Short Creative Writing: A Study Comparing SLMs with Humans and LLMs [0.9831489366502301]
我々は、細調整された小言語モデル(SLM)、BART Largeの創作小説の執筆能力を評価し、その性能を人間と2つの大言語モデル(LLM)、GPT-3.5とGPT-4oと比較した。
論文参考訳（メタデータ） (2024-09-17T20:40:02Z)
Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
論文参考訳（メタデータ） (2024-07-18T08:02:49Z)
Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation [15.718288693929019]
大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成する。 LLMがヒトアノテーターの代用として使用できるかどうかを検討した。 LLMはシステムレベルの評価において,現在の自動測定値よりも優れていますが,十分な説明が得られていないことが分かりました。
論文参考訳（メタデータ） (2024-05-22T15:56:52Z)
Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
論文参考訳（メタデータ） (2024-04-10T14:50:10Z)
Creating Suspenseful Stories: Iterative Planning with Large Language Models [2.6923151107804055]
本稿では,ストーリー・サスペンスの2つの理論的基礎に根ざした,反復型提案型計画手法を提案する。本論文は,我々の知る限りでは,大規模言語モデルを用いたサスペンスな物語生成の試みである。
論文参考訳（メタデータ） (2024-02-27T01:25:52Z)
On the Automatic Generation and Simplification of Children's Stories [14.465545222216749]
まず,語彙と可読性を適切に調整したストーリを生成するために,いくつかの人気言語モデルの能力について検討する。第2の実験として、子どもの物語の領域に一般化する最先端の語彙的単純化モデルについて検討する。その結果,過去最強の語彙単純化モデルは,背景にある大きな言語モデルに依存しているため,子ども向けの素材としてはあまり機能しないことがわかった。
論文参考訳（メタデータ） (2023-10-27T21:31:34Z)
Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
論文参考訳（メタデータ） (2023-10-23T04:39:01Z)
Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文参考訳（メタデータ） (2023-01-31T18:46:19Z)
The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文参考訳（メタデータ） (2023-01-24T02:44:02Z)
MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models [98.53511229517463]
本稿では,大規模言語モデルを用いた新しいフレームワークを提案し,外部知識ベースを組み込んだテキスト生成制御を提案する。本フレームワークは,キーワード予測器,知識検索器,文脈知識ランキング器,条件付きテキスト生成器から構成される。実験の結果、我々のモデルは、ROCストーリーデータセットの以前の作業と比較して、反復性が低く、多様性が低い、より流動的で、一貫性があり、一貫性のあるストーリーを生成します。
論文参考訳（メタデータ） (2020-10-02T08:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。