論文の概要: Evaluating Creative Short Story Generation in Humans and Large Language Models

• arxiv url: http://arxiv.org/abs/2411.02316v2
• Date: Wed, 06 Nov 2024 23:27:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 11:32:08.556763
• Title: Evaluating Creative Short Story Generation in Humans and Large Language Models
• Title（参考訳）: 人・大言語モデルにおける創造的短話生成の評価
• Authors: Mete Ismayilzada, Claire Stevenson, Lonneke van der Plas,
• Abstract要約: 大規模言語モデル(LLM)は、最近、高品質なストーリーを生成する能力を実証した。 LLMと日常の人々の短いストーリー生成において,創造性を体系的に分析する。 LLMはスタイリスティックな複雑なストーリーを生成できるが、平均的な人間作家に比べて創造性は低い傾向にある。
• 参考スコア（独自算出の注目度）: 0.7965327033045846
• License:
• Abstract: Storytelling is a fundamental aspect of human communication, relying heavily on creativity to produce narratives that are novel, appropriate, and surprising. While large language models (LLMs) have recently demonstrated the ability to generate high-quality stories, their creative capabilities remain underexplored. Previous research has either focused on creativity tests requiring short responses or primarily compared model performance in story generation to that of professional writers. However, the question of whether LLMs exhibit creativity in writing short stories on par with the average human remains unanswered. In this work, we conduct a systematic analysis of creativity in short story generation across LLMs and everyday people. Using a five-sentence creative story task, commonly employed in psychology to assess human creativity, we automatically evaluate model- and human-generated stories across several dimensions of creativity, including novelty, surprise, and diversity. Our findings reveal that while LLMs can generate stylistically complex stories, they tend to fall short in terms of creativity when compared to average human writers.
• Abstract（参考訳）: ストーリーテリングは人間のコミュニケーションの基本的な側面であり、創造性に大きく依存して、新しい、適切な、驚きの物語を生み出します。 大規模言語モデル(LLM)は、最近、高品質なストーリーを生成する能力を示したが、その創造的能力はいまだ探索されていない。 これまでの研究は、短い応答を必要とする創造性テストに焦点を当てたり、主にストーリージェネレーションにおけるモデルパフォーマンスをプロの作家と比べたりしてきた。 しかし、LLMが平均的な人間に匹敵する短編を執筆する際に創造性を示すかどうかという問題は未解決のままである。 本研究では,LLMと日常の人々の短いストーリー生成において,創造性を体系的に分析する。 人間の創造性を評価するために心理学で一般的に使用される5文の創造的ストーリータスクを用いて、我々は、新規性、サプライズ、多様性を含む、創造性の様々な次元にわたるモデルと人為的なストーリーを自動的に評価する。 LLMはスタイリスティックな複雑なストーリーを生成できるが、平均的な人間作家に比べて創造性は低い傾向にある。

関連論文リスト

• Agents' Room: Narrative Generation through Multi-step Collaboration [54.98886593802834]
  本稿では,物語の執筆を特殊エージェントが取り組んだサブタスクに分解する,物語理論に触発された世代フレームワークを提案する。 エージェントの部屋は,専門的評価者が好むストーリーをベースラインシステムより生成することを示す。
  論文  参考訳（メタデータ） (2024-10-03T15:44:42Z)
• A Character-Centric Creative Story Generation via Imagination [15.345466372805516]
  我々はCCI(Character-centric Creative Story Generation via Imagination)と呼ばれる新しいストーリー生成フレームワークを紹介する。 CCIは創造的ストーリー生成のための2つのモジュール、IG(Image-Guided Imagination)とMW(Multi-Writer model)を備えている。 IGモジュールでは,文字や背景,メインプロットといった重要なストーリー要素を視覚的に表現するために,テキスト・ツー・イメージモデルを利用する。 MWモジュールはこれらのストーリー要素を使用して複数のペルソナ記述候補を生成し、ストーリーに挿入する最適なストーリーを選択することにより、物語の豊かさと深さを高める。
  論文  参考訳（メタデータ） (2024-09-25T06:54:29Z)
• Small Language Models can Outperform Humans in Short Creative Writing: A Study Comparing SLMs with Humans and LLMs [0.9831489366502301]
  我々は、細調整された小言語モデル(SLM)、BART Largeの創作小説の執筆能力を評価し、その性能を人間と2つの大言語モデル(LLM)、GPT-3.5とGPT-4oと比較した。
  論文  参考訳（メタデータ） (2024-09-17T20:40:02Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• Divergent Creativity in Humans and Large Language Models [37.67363469600804]
  最近の大規模言語モデルの能力の急上昇は、人間の能力に似た創造性レベルに近づいている、という主張につながっている。 我々は、創造科学の最近の進歩を活用して、最先端のLLMと10万人の実質的なデータセットの両方において、多様な創造性を詳細に分析するためのフレームワークを構築します。
  論文  参考訳（メタデータ） (2024-05-13T22:37:52Z)
• Art or Artifice? Large Language Models and the False Promise of Creativity [53.04834589006685]
  本稿では,創造性を製品として評価するTorrance Test of Creative Writing (TTCW)を提案する。 TTCWは14のバイナリテストで構成されており、Fluency、Flexibility、Originality、Elaborationの3次元に分かれている。 分析の結果,LPM生成したストーリーはプロのストーリーよりもTTCWが3～10倍少ないことが判明した。
  論文  参考訳（メタデータ） (2023-09-25T22:02:46Z)
• On the Creativity of Large Language Models [2.4555276449137042]
  大規模言語モデル(LLM)は、人工知能のいくつかの領域に革命をもたらしている。 本稿では、まず、創造性理論のレンズ下でのLCMの開発について分析する。 そして、私たちは、製品、プロセス、プレス、そして人という、異なる古典的な視点を考えます。 最後に、創造産業に焦点をあてて、これらの技術の社会的影響について検討する。
  論文  参考訳（メタデータ） (2023-03-27T18:00:01Z)
• The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
  大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。 その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-01-24T02:44:02Z)
• Computational Storytelling and Emotions: A Survey [56.95572957863576]
  本研究は,物語と感情の関係に関する研究を要約し,その発展に寄与することを目的としている。 創造性の研究は人間をコンピューターに置き換えることではなく、創造性を高めるために人間とコンピューターのコラボレーション方法を見つけることであると私たちは信じています。
  論文  参考訳（メタデータ） (2022-05-23T00:21:59Z)
• Collaborative Storytelling with Large-scale Neural Language Models [6.0794985566317425]
  我々は、人工知能エージェントと人が協力して、交代で追加することでユニークなストーリーを作るという、協調的なストーリーテリングのタスクを紹介します。 本稿では,人間ストーリーテラーと協調して物語を創り出す共同ストーリーテリングシステムについて述べる。
  論文  参考訳（メタデータ） (2020-11-20T04:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。