論文の概要: LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers
- arxiv url: http://arxiv.org/abs/2602.16162v1
- Date: Wed, 18 Feb 2026 03:19:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-19 15:58:30.50455
- Title: LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers
- Title(参考訳): LLMはプロの作家よりも創造的著作において不確かさを著しく減らす
- Authors: Peiqi Sui,
- Abstract要約: 人間の文章はモデル出力よりも極めて高い不確実性を示すことを示す。
命令調整モデルと推論モデルは,基本モデルと比較して,この傾向を悪化させることがわかった。
- 参考スコア(独自算出の注目度): 1.9036571490366498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that uncertainty is a key and understudied limitation of LLMs' performance in creative writing, which is often characterized as trite and cliché-ridden. Literary theory identifies uncertainty as a necessary condition for creative expression, while current alignment strategies steer models away from uncertain outputs to ensure factuality and reduce hallucination. We formalize this tension by quantifying the "uncertainty gap" between human-authored stories and model-generated continuations. Through a controlled information-theoretic analysis of 28 LLMs on high-quality storytelling datasets, we demonstrate that human writing consistently exhibits significantly higher uncertainty than model outputs. We find that instruction-tuned and reasoning models exacerbate this trend compared to their base counterparts; furthermore, the gap is more pronounced in creative writing than in functional domains, and strongly correlates to writing quality. Achieving human-level creativity requires new uncertainty-aware alignment paradigms that can distinguish between destructive hallucinations and the constructive ambiguity required for literary richness.
- Abstract(参考訳): 我々は、不確実性はクリエイティブ・ライティングにおけるLLMのパフォーマンスの重要かつ未検討の限界であり、しばしばトリテとクリシェ・リデンとして特徴づけられる。
文学理論は、不確実性を創造的表現に必要な条件として認識する一方で、現在のアライメント戦略は、事実性の確保と幻覚の低減のために、不確実なアウトプットから遠ざかる。
我々は、人間による物語とモデル生成継続の間の「不確実性ギャップ」を定量化し、この緊張関係を形式化する。
高品質なストーリーテリングデータセット上での28LLMの制御情報理論解析により、人間の文章がモデル出力よりもはるかに高い不確実性を示すことを示した。
さらに、このギャップは、機能的ドメインよりも創造的書き込みにおいて顕著であり、文章の品質に強く関連している。
人間のレベルの創造性を達成するためには、破壊的な幻覚と文学的な豊かさに必要な建設的曖昧さを区別できる新しい不確実性を考慮したアライメントパラダイムが必要である。
関連論文リスト
- Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models [6.036586911740041]
大規模言語モデル(LLM)は、言語的創造的なタスクにますます使われています。
広く使われているダイバージェント・アソシエーション・タスク(DAT)は、新規性を重視し、適切性を無視している。
DAT上での最先端のLCMの範囲を評価し、そのタスクにおけるスコアが、創造力を持たない2つのベースラインのスコアよりも低いことを示す。
論文 参考訳(メタデータ) (2026-01-28T12:41:32Z) - CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
創造性はしばしば人間の知能の目印と見なされる。
さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。
本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
論文 参考訳(メタデータ) (2025-10-23T00:22:10Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳(メタデータ) (2025-09-15T19:06:10Z) - Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations [48.57816792550401]
クリエイティビティ指標,パープレキシティ,構文テンプレート,LCM-as-a-Judgeなどのクリエイティビティ指標について検討した。
分析の結果、これらの指標は限定的な一貫性を示し、創造性の異なる次元を捉えていることがわかった。
論文 参考訳(メタデータ) (2025-08-07T15:11:48Z) - Investigating Factuality in Long-Form Text Generation: The Roles of Self-Known and Self-Unknown [68.33486915047014]
様々な大言語モデル(LLM)における長文テキスト生成の事実性について検討する。
分析の結果, 文末文の事実性は低下傾向にあり, 支持請求件数が増加傾向にあることが明らかとなった。
論文 参考訳(メタデータ) (2024-11-24T22:06:26Z) - Creativity Has Left the Chat: The Price of Debiasing Language Models [1.223779595809275]
大規模言語モデル(LLM)の創造性に対する人間からのフィードバックからの強化学習の意図しない結果について検討する。
我々の発見は、コピーライティング、広告作成、顧客ペルソナ生成といったクリエイティブなタスクにLLMを頼っているマーケターにとって大きな意味を持つ。
論文 参考訳(メタデータ) (2024-06-08T22:14:51Z) - Divergent Creativity in Humans and Large Language Models [37.67363469600804]
大きな言語モデル(LLM)は、人間の能力に似た創造性レベルに近づいていると主張している。
我々は最近の計算創造性の進歩を利用して、最先端のLLMと10万人の人間のデータセットのセマンティックな相違を分析する。
我々は, LLMがダイバージェント・アソシエーション・タスクにおいて, 平均的人的パフォーマンスを上回り, 人間の創造的筆記能力にアプローチできる証拠を見出した。
論文 参考訳(メタデータ) (2024-05-13T22:37:52Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。