論文の概要: Do Large Language Models Always Tell The Same Stories?
- arxiv url: http://arxiv.org/abs/2606.17350v1
- Date: Mon, 15 Jun 2026 22:52:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.167606
- Title: Do Large Language Models Always Tell The Same Stories?
- Title(参考訳): 大規模言語モデルは常に同じ物語を語るか?
- Authors: Thennal DK, Hans Ole Hatzel,
- Abstract要約: 物語類似性の枠組みを用いて,大規模言語モデルが生成する物語の多様性について検討する。
LLM生成の物語は、人間が書いた物語よりも一貫して似ています。
我々は、負のプロンプトや温度スケーリングを含む一般的な緩和戦略が、この均一性に有意に対処できないことを示す。
- 参考スコア(独自算出の注目度): 2.4779770815686444
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advances in large language models (LLMs) have enabled the generation of high-quality prose, yet the question of whether these models are capable of generating diverse outputs remains contested. In this work, we investigate the diversity of LLM-generated stories through the framework of narrative similarity. Using a contrastive framework and a dataset of human-written stories and prompts from r/WritingPrompts, we collect narrative similarity judgments across 10 representative LLMs, utilizing both human evaluations and three different automatic annotation methods. Our findings reveal a consistent trend: LLM-generated narratives are consistently more similar to each other than human-written stories are. We demonstrate that frontier models in particular converge on a ``mean'' generic narrative that approximates individual human stories but lacks the collective diversity of human authors. Finally, we show that common mitigation strategies, including negative prompting and temperature scaling, fail to meaningfully address this homogeneity.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩により高品質な散文生成が可能になったが、これらのモデルが多種多様な出力を生成できるかどうか疑問が残る。
本研究では,物語類似性の枠組みによるLLM生成物語の多様性について検討する。
コントラスト的フレームワークと人文的ストーリーのデータセットとr/WritingPromptsのプロンプトを用いて,人文的評価と3つの異なる自動アノテーション手法を用いて,10の代表的なLCMにまたがる物語的類似性判定を収集する。
LLM生成の物語は、人間が書いた物語よりも一貫して似ています。
特にフロンティアモデルは、個々の人間の物語を近似するが、人間の著者の集団的多様性に欠ける「ミーアン」の一般的な物語に収束することを示した。
最後に、負のプロンプトや温度スケーリングを含む一般的な緩和戦略が、この均質性に意味を成さないことを示す。
関連論文リスト
- NARRA-Gym for Evaluating Interactive Narrative Agents [69.49891044929372]
NARRA-Gymは,まばらな感情的シードを完全なインタラクティブな物語のエピソードに変換する評価環境である。
我々は,8つのベンチマークペルソナに対して制御されたLLM-as-judgeスイープと,参加者がカスタマイズされたモデル出力を評価できる人的評価を用いて,9つのフロンティアLLMを評価する。
論文 参考訳(メタデータ) (2026-05-08T21:36:23Z) - Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries [4.320927217095906]
テキストを用いた概念的エンゲージメントのモデルが人間のパターンを反映するかどうかを評価する。
我々は、150の人文小説の文を、それらが参照する特定の章と整合させる。
テキスト間の文体的差異と、人間とLLMが物語全体を通して焦点を分散する方法の違いの両方を見いだす。
論文 参考訳(メタデータ) (2026-04-07T19:50:52Z) - Humans vs Vision-Language Models: A Unified Measure of Narrative Coherence [4.301794127844445]
本研究では,視覚言語モデル (VLM) が生成する人文物語と,ビジュアルライティング・プリンプッツ・コーパスで生成した物語を比較した。
VLMは、人間のものと体系的に異なる、広く類似したコヒーレンスプロファイルを示す。
以上の結果から,人間のような表面流布性にもかかわらず,モデル物語は,視覚的に根ざした物語の会話を整理する方法において,人間の物語と体系的な違いを示すことが示唆された。
論文 参考訳(メタデータ) (2026-03-26T15:13:04Z) - MirrorStories: Reflecting Diversity through Personalized Narrative Generation with Large Language Models [5.397565689903148]
本研究では,パーソナライズされた「ミラーストーリー」作成におけるLarge Language Models(LLM)の有効性について検討する。
ミラーストリーズ(MirrorStories)は、名前、性別、年齢、民族性、読者の興味、ストーリーモラルといった要素を統合した1500のパーソナライズされた短編小説のコーパスである。
論文 参考訳(メタデータ) (2024-09-20T22:43:13Z) - Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。
本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。
談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
論文 参考訳(メタデータ) (2024-07-18T08:02:49Z) - The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。
本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。
その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
論文 参考訳(メタデータ) (2023-01-24T02:44:02Z) - UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation [92.42032403795879]
UNIONは、オープンなストーリー生成を評価するための、学習可能な未参照メトリックである。
人書きストーリーとネガティブなサンプルを区別し、ネガティブなストーリーの摂動を回復するように訓練されている。
2つのストーリーデータセットの実験では、UNIONが生成されたストーリーの品質を評価するための信頼性の高い尺度であることが示されている。
論文 参考訳(メタデータ) (2020-09-16T11:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。