論文の概要: Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

• arxiv url: http://arxiv.org/abs/2605.13450v1
• Date: Wed, 13 May 2026 12:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.045436
• Title: Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers
• Title（参考訳）: 大規模言語モデルの創造性を評価する: テスト、限界、新しいフロンティア
• Authors: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji,
• Abstract要約: 近年,大規模言語モデル(LLM)に対する人間の創造性テストの実施が一般的になっている。 これらのテストは、"創造性"を評価するための便利で完全に自動化された方法を提供するが、機械の創造性の尺度としての妥当性は確立されていない。 我々は,LLMの創造的達成を予測するために,人間の創造性テストの有効性を評価するための,最初の大規模かつ体系的な研究を行った。
• 参考スコア（独自算出の注目度）: 39.942029670113115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring the creativity of large language models (LLMs) is essential for designing methods that can improve creativity and for enhancing our scientific understanding of this ability. To accomplish this, it has become common in recent years to administer tests of human creativity to LLMs. Although these tests provide a convenient and fully automated way to score "creativity," their validity as measures of machine creativity has not been established, and these tests already have limited validity as predictors of human creativity. To address this problem, we conduct the first large-scale, systematic study assessing the effectiveness of human creativity tests for predicting the creative achievement of LLMs across three target constructs: creative writing, divergent thinking, and scientific ideation. We find that the Divergent Association Task (DAT) and the Conditional DAT are the best predictors of creative writing and divergent thinking, respectively, but that test effectiveness varies significantly by construct, and no single test predicts all constructs well. Moreover, contrary to popular belief, no existing test reliably predicts scientific ideation ability. Motivated by this problem, we introduce the Divergent Remote Association Test (DRAT), a vocabulary-space test that assesses both convergent and divergent thinking in a single instrument. The DRAT is the first and only creativity test for LLMs that is a significant predictor of scientific ideation ability, demonstrating robustness across major design choices. Furthermore, the performance gain of the DRAT is not recoverable from any linear combination of the Divergent Association Task and the Remote Associates Test, indicating that assessing divergent and convergent thinking in the same test is essential to reliably predicting scientific ideation ability.
• Abstract（参考訳）: 大規模言語モデル(LLM)の創造性を計測することは、創造性を向上させる方法の設計と、この能力の科学的理解を高めるために不可欠である。 これを達成するために、近年、人間の創造性の試験をLSMに実施することが一般的になっている。 これらのテストは「創造性」を評価するための便利で完全に自動化された方法を提供するが、機械の創造性の尺度としてのそれらの妥当性は確立されておらず、これらのテストは人間の創造性の予測因子として既に限定された有効性を持っている。 この問題に対処するために,我々は,創造的文章,散発的思考,科学的思考という3つの構成要素にわたるLLMの創造的達成を予測するために,人間の創造性テストの有効性を評価するための,最初の大規模かつ体系的な研究を行った。 DAT(Didergent Association Task)とConditional DAT(Conditional DAT)がそれぞれ,創造的記述の最良の予測因子であることがわかった。 さらに、一般的な信念とは対照的に、既存のテストでは科学的思考能力は確実に予測できない。 この問題に触発され,単一の楽器における収束性および発散性の両方を評価する語彙空間テストであるDivergent Remote Association Test (DRAT)を導入する。 DRATはLLMにとって初めてかつ唯一のクリエイティビティテストであり、科学的な思考能力の重大な予測であり、主要な設計選択における堅牢性を実証している。 さらに、DRATの性能向上は、ダイバージェント・アソシエイト・タスクとリモート・アソシエイト・テストの線形結合から回復することができず、科学的思考能力の確実な予測には、同一テストにおける散発的思考と収束的思考の評価が不可欠であることを示す。

関連論文リスト

• Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models [6.036586911740041]
  大規模言語モデル(LLM)は、言語的創造的なタスクにますます使われています。 広く使われているダイバージェント・アソシエーション・タスク(DAT)は、新規性を重視し、適切性を無視している。 DAT上での最先端のLCMの範囲を評価し、そのタスクにおけるスコアが、創造力を持たない2つのベースラインのスコアよりも低いことを示す。
  論文  参考訳（メタデータ） (2026-01-28T12:41:32Z)
• Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations [48.57816792550401]
  クリエイティビティ指標,パープレキシティ,構文テンプレート,LCM-as-a-Judgeなどのクリエイティビティ指標について検討した。 分析の結果、これらの指標は限定的な一貫性を示し、創造性の異なる次元を捉えていることがわかった。
  論文  参考訳（メタデータ） (2025-08-07T15:11:48Z)
• Automated Creativity Evaluation for Large Language Models: A Reference-Based Approach [32.654673913638426]
  本稿では,創造性を製品として評価するTorance Test of Creative Writing (TTCW)に基づく自動評価手法を提案する。 提案手法は、高品質な参照テキストに対して生成されたクリエイティブテキストをスコアリングする参照ベースのLikertスタイルのアプローチを用いる。
  論文  参考訳（メタデータ） (2025-04-22T10:52:23Z)
• LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
  我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。 我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。 我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-12-23T14:13:44Z)
• Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [90.26363107905344]
  大型言語モデル(LLM)は、科学的な発見を加速する可能性についての楽観主義を喚起した。 LLMシステムは、新しい専門家レベルのアイデアを生み出すための第一歩を踏み出すことができるという評価はない。
  論文  参考訳（メタデータ） (2024-09-06T08:25:03Z)
• Can AI Be as Creative as Humans? [84.43873277557852]
  理論的には、AIは人間の創造者によって生成されたデータに適切に適合できるという条件の下で、人間と同じくらい創造的になれることを証明しています。 AIの創造性に関する議論は、十分な量のデータに適合する能力の問題に縮小されている。
  論文  参考訳（メタデータ） (2024-01-03T08:49:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。