論文の概要: CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

• arxiv url: http://arxiv.org/abs/2604.03374v1
• Date: Fri, 03 Apr 2026 18:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.542871
• Title: CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge
• Title（参考訳）: CresOWLve: 現実の知識に関する創造的な問題解決のベンチマーク
• Abstract要約: 実世界の知識に根ざしたパズルを用いて,創造的な問題解決を評価するためのベンチマークであるCresOWLveを紹介する。 CresOWLveの問題は、複数の創造的思考戦略を採用し、さまざまなドメインから事実を抽出し、ソリューションに到達するためにそれらを創造的に組み合わせることである。 モデルは、創造的なものよりも、現実的な質問において、はるかに優れたパフォーマンスを発揮する。
• 参考スコア（独自算出の注目度）: 19.526111468269892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creative problem-solving requires combining multiple cognitive abilities, including logical reasoning, lateral thinking, analogy-making, and commonsense knowledge, to discover insights that connect seemingly unrelated pieces of information. However, most existing benchmarks for large language models (LLMs) evaluate only specific components of this process. Moreover, many creativity-oriented benchmarks rely on artificially constructed brainteasers or contrived scenarios that do not reflect how creative problem-solving occurs in real-world settings. To address this gap, we introduce CresOWLve, a benchmark for evaluating creative problem-solving using puzzles grounded in real-world knowledge. Problems in CresOWLve require employing multiple creative thinking strategies, retrieving facts from diverse domains, and creatively combining them to arrive at a solution. Evaluating several frontier non-thinking and thinking LLMs, we show that CresOWLve remains highly challenging. Our analysis reveals a consistent performance gap: models perform substantially better on factual questions than on creative ones (up to a -17% drop). While models can often retrieve the relevant knowledge, they struggle to form the non-obvious creative connections required to integrate this information and arrive at the correct answer.
• Abstract（参考訳）: 創造的な問題解決には、論理的推論、横方向の思考、類推、常識的知識を含む複数の認知能力を組み合わせることが必要である。 しかし、既存の大規模言語モデル(LLM)のベンチマークのほとんどは、このプロセスの特定のコンポーネントのみを評価している。 さらに、多くのクリエイティビティ指向のベンチマークは、現実の環境で創造的な問題解決がどのように起こるのかを反映しない、人工的に構築されたブレインテザやコントリビュートシナリオに依存している。 このギャップに対処するために,現実世界の知識に根ざしたパズルを用いて,創造的な問題解決を評価するためのベンチマークであるCresOWLveを紹介した。 CresOWLveの問題は、複数の創造的思考戦略を採用し、さまざまなドメインから事実を抽出し、ソリューションに到達するためにそれらを創造的に組み合わせることである。 いくつかの未考・思考のフロンティアを評価した結果,CresOWLveは依然として極めて困難であることがわかった。 モデルは、創造的(最大17%の減少)よりも、現実的な質問で大幅にパフォーマンスが向上します。 モデルは、しばしば関連する知識を回収するが、これらの情報を統合して正しい答えに到達するのに必要な、忘れられない創造的なつながりを形成するのに苦労する。

関連論文リスト

• CREATE: Testing LLMs for Associative Creativity [51.64544603712446]
  創造的連想的推論のためのモデルの能力を評価するためのベンチマークであるCREATEを紹介する。 最強のモデルが他のモデルよりも高い創造性を達成することを示す。 私たちの結果は、高いトークン予算であっても、思考モデルがタスクに対してより効果的であるとは限らないことを示しています。
  論文  参考訳（メタデータ） (2026-03-10T17:58:44Z)
• Divergent-Convergent Thinking in Large Language Models for Creative Problem Generation [22.659182231103443]
  大規模言語モデル(LLM)は、教育的な問題や問題を生成でき、教育者が大規模な学習教材を作成できる。 LLMはArtificial Hivemindの効果によって制限され、同じモデル内で同様の応答を生成し、異なるモデル間で均質な出力を生成する。 本稿では,LCMの推論を異なる位相に明確に把握する2相プロンプト法であるCreativeDCを提案する。
  論文  参考訳（メタデータ） (2025-12-29T16:53:48Z)
• Universe of Thoughts: Enabling Creative Reasoning with Large Language Models [1.9480051045857554]
  認知科学の原理に触発された創造的推論のための計算フレームワークを導入する。 本稿では,テキスト探索,テキスト変換,テキストUoTという3つの中心的創造的推論パラダイムを提案する。 UoTは創造的推論において優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-11-25T16:34:59Z)
• CreativityPrism: A Holistic Benchmark for Large Language Model Creativity [64.18257552903151]
  創造性はしばしば人間の知能の目印と見なされる。 さまざまなシナリオにまたがってクリエイティビティを評価するための総合的なフレームワークはまだ存在しません。 本稿では,創造性を質,新規性,多様性の3次元に分解する評価分析フレームワークであるCreativePrismを提案する。
  論文  参考訳（メタデータ） (2025-10-23T00:22:10Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• Benchmarking Language Model Creativity: A Case Study on Code Generation [39.546827184857754]
  本研究では,LLMの創造性を定量化するフレームワークを提案する。 生成した創造的応答における収束的思考と発散的思考の両方を定量化する計量であるNEOGAUGEを定義する。 我々はCodeforcesの問題に関する提案されたフレームワークをテストする。これは、タスクをコーディングするための自然なデータセットと、先行する人間のソリューションのコレクションの両方に役立ちます。
  論文  参考訳（メタデータ） (2024-07-12T05:55:22Z)
• SOK-Bench: A Situated Video Reasoning Benchmark with Aligned Open-World Knowledge [60.76719375410635]
  44Kの質問と10Kの状況からなる新しいベンチマーク(SOK-Bench)を提案する。 推論プロセスは、位置する知識と問題解決のための一般的な知識を理解し、適用するために必要である。 質問応答ペアと推論プロセスを生成し,最後に品質保証に関する手作業によるレビューを行った。
  論文  参考訳（メタデータ） (2024-05-15T21:55:31Z)
• MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
  本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。 我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。 我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
  論文  参考訳（メタデータ） (2023-11-16T08:52:27Z)
• On the Creativity of Large Language Models [2.4555276449137042]
  大規模言語モデル(LLM)は、人工知能のいくつかの領域に革命をもたらしている。 本稿では、まず、創造性理論のレンズ下でのLCMの開発について分析する。 そして、私たちは、製品、プロセス、プレス、そして人という、異なる古典的な視点を考えます。 最後に、創造産業に焦点をあてて、これらの技術の社会的影響について検討する。
  論文  参考訳（メタデータ） (2023-03-27T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。