論文の概要: Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

• arxiv url: http://arxiv.org/abs/2606.11762v1
• Date: Wed, 10 Jun 2026 07:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.34657
• Title: Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
• Title（参考訳）: オープンエンドタスクにおける言語モデルの創造性自動評価
• Abstract要約: 大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。 オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
• 参考スコア（独自算出の注目度）: 3.6948012022450776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in language understanding, reasoning, and generation, sparking growing interest in their creative potential. Realizing this potential requires systematic and scalable methods for evaluating creativity across diverse tasks. However, most existing creativity metrics are tightly coupled to specific tasks, embedding domain assumptions into the evaluation process, and limiting scalability and generality. To address this gap, we introduce an automated, domain-agnostic framework for quantifying LLM creativity across open-ended tasks. Our approach separates the measurement apparatus from the creative task itself, enabling scalable, task-agnostic assessment. Divergent creativity is measured using semantic entropy, a reference-free and robust metric for novelty and diversity, validated against human annotations, LLM-based novelty judgments and baseline diversity measures. Convergent creativity is assessed via a novel retrieval-based multi-agent judge framework that delivers context-sensitive evaluation of task fulfilment with over 60% improved efficiency. We validate our framework in three qualitatively distinct domains: problem-solving (MacGyver), research ideation (HypoGen), and creative writing (BookMIA), using a broad suite of LLMs. Empirical results show that our framework reliably captures key facets of creativity, including novelty, diversity, and task fulfilment, and reveal how model properties, such as size, temperature, recency, and reasoning, impact creative performance. Our work establishes a reproducible and generalizable standard for automated LLM creativity evaluation, paving the way for scalable benchmarking and accelerating progress in creative AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げており、その創造的可能性への関心が高まっている。 この可能性を実現するには、さまざまなタスクにわたる創造性を評価するための、体系的でスケーラブルな方法が必要です。 しかしながら、既存のクリエイティビティメトリクスのほとんどは、特定のタスクと密結合しており、ドメインの仮定を評価プロセスに埋め込んで、スケーラビリティと汎用性を制限する。 このギャップに対処するために、オープンなタスク間でLLMの創造性を定量化する自動化されたドメインに依存しないフレームワークを導入します。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。 多様性の創造性は、人間のアノテーション、LLMに基づく新規性判断、およびベースラインの多様性測定に対して検証された、ノベルティと多様性の基準のない堅牢な指標であるセマンティックエントロピーを用いて測定される。 コンバージェント・クリエイティビティは、新しい検索ベースのマルチエージェント・ジャッジ・フレームワークを通じて評価される。 我々は,3つの定性的に異なる領域 – 問題解決(MacGyver),研究思想(HypoGen),創造的執筆(BookMIA) – において,LLMの幅広いスイートを用いた検証を行った。 実験の結果、我々のフレームワークは、新規性、多様性、タスクフルフィルメントなど、創造性の重要な側面を確実に捉え、サイズ、温度、正確性、推論といったモデル特性が創造性にどのように影響するかを明らかにした。 我々の研究は、LLMのクリエイティビティ評価自動化のための再現可能で一般化可能な標準を確立し、スケーラブルなベンチマークと創造的AIの進歩の促進を可能にします。

関連論文リスト

• CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
  創造性はしばしば人間の知能の目印と見なされる。 さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。 本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
  論文  参考訳（メタデータ） (2025-10-23T00:22:10Z)
• Combinatorial Creativity: A New Frontier in Generalization Abilities [14.121904952399975]
  大規模言語モデル(LLM)における創造性のスケーリング挙動について検討する。 固定的な計算予算では、創造力に最適なモデル深さと幅が存在することが分かりました。 LLMは新たな科学的アイデアの創出に長けつつ,現実的な実現性確保に苦慮しているため,創造性アルゴリズムの基本的な新規性・実用性トレードオフ特性によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-09-25T11:48:37Z)
• Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations [48.57816792550401]
  クリエイティビティ指標,パープレキシティ,構文テンプレート,LCM-as-a-Judgeなどのクリエイティビティ指標について検討した。 分析の結果、これらの指標は限定的な一貫性を示し、創造性の異なる次元を捉えていることがわかった。
  論文  参考訳（メタデータ） (2025-08-07T15:11:48Z)
• Creativity in LLM-based Multi-Agent Systems: A Survey [56.25583236738877]
  大規模言語モデル(LLM)によるマルチエージェントシステム(MAS)は、人間とAIが協調してアイデアやアーティファクトを生成する方法を変えつつある。 これはMASにおける創造性に関する最初の調査である。 本研究では,(1)エージェントの能動性やペルソナ設計の分類,(2)分岐探索,反復改良,協調合成などの生成技術の概要,(3)不整合評価基準,不整合性バイアス緩和,協調競合,統一ベンチマークの欠如といった重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-05-27T12:36:14Z)
• Probing and Inducing Combinational Creativity in Vision-Language Models [52.76981145923602]
  VLM(Vision-Language Models)の最近の進歩は、それらのアウトプットが組合せの創造性を反映しているかという議論を引き起こしている。 本稿では,創造的プロセスを3つのレベルに分解するIEIフレームワークを提案する。 このフレームワークを検証するために、IEIフレームワークに従って注釈付けされた666人のアーティストによる視覚マッシュアップの高品質データセットであるCreativeMashupをキュレートする。
  論文  参考訳（メタデータ） (2025-04-17T17:38:18Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• Assessing and Understanding Creativity in Large Language Models [33.37237667182931]
  本稿では,大規模言語モデル(LLM)における創造性レベルを評価するための効率的な枠組みを確立することを目的とする。 The Torrance Tests of Creative Thinking を用いて、7つのタスクにまたがる様々なLSMの創造的パフォーマンスを評価する。 LLMの創造性は、主に独創性に欠けるが、エラボレーションには優れていた。
  論文  参考訳（メタデータ） (2024-01-23T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。