論文の概要: Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

• arxiv url: http://arxiv.org/abs/2606.11762v1
• Date: Wed, 10 Jun 2026 07:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.34657
• Title: Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
• Title（参考訳）: オープンエンドタスクにおける言語モデルの創造性自動評価
• Authors: Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan,
• Abstract要約: 大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。 オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
• 参考スコア（独自算出の注目度）: 3.6948012022450776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable progress in language understanding, reasoning, and generation, sparking growing interest in their creative potential. Realizing this potential requires systematic and scalable methods for evaluating creativity across diverse tasks. However, most existing creativity metrics are tightly coupled to specific tasks, embedding domain assumptions into the evaluation process, and limiting scalability and generality. To address this gap, we introduce an automated, domain-agnostic framework for quantifying LLM creativity across open-ended tasks. Our approach separates the measurement apparatus from the creative task itself, enabling scalable, task-agnostic assessment. Divergent creativity is measured using semantic entropy, a reference-free and robust metric for novelty and diversity, validated against human annotations, LLM-based novelty judgments and baseline diversity measures. Convergent creativity is assessed via a novel retrieval-based multi-agent judge framework that delivers context-sensitive evaluation of task fulfilment with over 60% improved efficiency. We validate our framework in three qualitatively distinct domains: problem-solving (MacGyver), research ideation (HypoGen), and creative writing (BookMIA), using a broad suite of LLMs. Empirical results show that our framework reliably captures key facets of creativity, including novelty, diversity, and task fulfilment, and reveal how model properties, such as size, temperature, recency, and reasoning, impact creative performance. Our work establishes a reproducible and generalizable standard for automated LLM creativity evaluation, paving the way for scalable benchmarking and accelerating progress in creative AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げており、その創造的可能性への関心が高まっている。 この可能性を実現するには、さまざまなタスクにわたる創造性を評価するための、体系的でスケーラブルな方法が必要です。 しかしながら、既存のクリエイティビティメトリクスのほとんどは、特定のタスクと密結合しており、ドメインの仮定を評価プロセスに埋め込んで、スケーラビリティと汎用性を制限する。 このギャップに対処するために、オープンなタスク間でLLMの創造性を定量化する自動化されたドメインに依存しないフレームワークを導入します。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。 多様性の創造性は、人間のアノテーション、LLMに基づく新規性判断、およびベースラインの多様性測定に対して検証された、ノベルティと多様性の基準のない堅牢な指標であるセマンティックエントロピーを用いて測定される。 コンバージェント・クリエイティビティは、新しい検索ベースのマルチエージェント・ジャッジ・フレームワークを通じて評価される。 我々は,3つの定性的に異なる領域 – 問題解決(MacGyver),研究思想(HypoGen),創造的執筆(BookMIA) – において,LLMの幅広いスイートを用いた検証を行った。 実験の結果、我々のフレームワークは、新規性、多様性、タスクフルフィルメントなど、創造性の重要な側面を確実に捉え、サイズ、温度、正確性、推論といったモデル特性が創造性にどのように影響するかを明らかにした。 我々の研究は、LLMのクリエイティビティ評価自動化のための再現可能で一般化可能な標準を確立し、スケーラブルなベンチマークと創造的AIの進歩の促進を可能にします。

関連論文リスト

• CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
  創造性はしばしば人間の知能の目印と見なされる。 さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。 本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
  論文  参考訳（メタデータ） (2025-10-23T00:22:10Z)
• Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations [48.57816792550401]
  クリエイティビティ指標,パープレキシティ,構文テンプレート,LCM-as-a-Judgeなどのクリエイティビティ指標について検討した。 分析の結果、これらの指標は限定的な一貫性を示し、創造性の異なる次元を捉えていることがわかった。
  論文  参考訳（メタデータ） (2025-08-07T15:11:48Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。