論文の概要: CreativityBench: Evaluating Agent Creative Reasoning via Affordance-Based Tool Repurposing

• arxiv url: http://arxiv.org/abs/2605.02910v2
• Date: Wed, 06 May 2026 05:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.509591
• Title: CreativityBench: Evaluating Agent Creative Reasoning via Affordance-Based Tool Repurposing
• Title（参考訳）: CreativityBench: Affordance-based Tool Repurposingによるエージェントクリエイティブ推論の評価
• Abstract要約: CreativityBenchは、LCMにおける余剰ベースのクリエイティビティを評価するためのベンチマークである。 制約の下では、不確実だが物理的に妥当な解を識別する必要がある14Kの基底タスクを生成する。 クローズドおよびオープンソースモデルを含む10の最先端のLLMに対する評価は、モデルがしばしば可塑性オブジェクトを選択することができるが、正しい部分を特定することができないことを示している。
• 参考スコア（独自算出の注目度）: 67.2958108309687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models have led to strong performance on reasoning and environment-interaction tasks, yet their ability for creative problem-solving remains underexplored. We study this capability through the lens of creative tool use, where a model repurposes available objects by reasoning about their affordances and attributes rather than relying on canonical usage. As a first step, we introduce CreativityBench, a benchmark for evaluating affordance-based creativity in LLMs. To this end, we build a large-scale affordance knowledge base (KB) with 4K entities and 150K+ affordance annotations, explicitly linking objects, parts, attributes, and actionable uses. Building on this KB, we generate 14K grounded tasks that require identifying non-obvious yet physically plausible solutions under constraints. Evaluations across 10 state-of-the-art LLMs, including closed and open-source models, show that models can often select a plausible object, but fail to identify the correct parts, their affordances, and the underlying physical mechanism needed to solve the task, leading to a significant drop in performance. Furthermore, improvements from model scaling quickly saturate, strong general reasoning does not reliably translate to creative affordance discovery, and common inference-time strategies such as Chain-of-Thought yield limited gains. These results suggest that creative tool use remains a major challenge for current models, and that CreativityBench provides a useful testbed for studying this missing dimension of intelligence, with potential implications for planning and reasoning modules in future agents.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、推論と環境相互作用のタスクに強いパフォーマンスをもたらしたが、創造的な問題解決能力は未解明のままである。 この能力は創造的なツール利用のレンズを通して研究され、モデルが利用可能なオブジェクトを標準的利用に頼るのではなく、その価値や属性を推論することで再利用する。 最初のステップとして、LLMにおける余剰ベースの創造性を評価するためのベンチマークであるCreativeBenchを紹介します。 この目的のために、4Kエンティティと150K以上のアベイランスアノテーションを備えた大規模アベイランス知識ベース(KB)を構築し、オブジェクト、部品、属性、アクション可能なユースケースを明示的にリンクする。 このKBに基づいて14Kの基底タスクを生成します。 クローズドおよびオープンソースモデルを含む10の最先端のLCMに対する評価は、モデルがしばしば可塑性オブジェクトを選択できるが、正しい部分、それらの余裕、そしてタスクを解決するために必要な基盤となる物理的メカニズムを識別できないことを示し、パフォーマンスが大幅に低下することを示している。 さらに、モデルスケーリングによる改善は急速に飽和し、強い一般的な推論は創造的な余裕の発見に確実な意味を持たず、チェイン・オブ・サートのような一般的な推論時の戦略は利得を制限している。 これらの結果は、クリエイティブツールの使用が現在のモデルにとって依然として大きな課題であり、CreativeBenchは、この欠落した知能の次元を研究する上で有用なテストベッドを提供し、将来のエージェントにおけるモジュールの計画と推論に潜在的に影響していることを示唆している。

関連論文リスト

• Automated Creativity Evaluation of Language Models Across Open-Ended Tasks [3.6948012022450776]
  大規模言語モデル(LLM)は言語理解、推論、生成において顕著な進歩を遂げた。 オープンなタスク間でLCMの創造性を定量化する,ドメインに依存しない自動化フレームワークを導入する。 提案手法は,創造的なタスク自体から計測装置を分離し,スケーラブルでタスクに依存しない評価を可能にする。
  論文  参考訳（メタデータ） (2026-06-10T07:37:06Z)
• Advancing Creative Physical Intelligence in Large Multimodal Models [62.56522271769017]
  MM-CreativityBenchは、視覚的にリッチで物理的に制約のある環境において、手頃なグラウンドで使用されるクリエイティブツールのベンチマークである。 筆者らの実験では、現在のLMMは、生成能力の欠如によるものではなく、基底探索を維持できないため、しばしば短くなることが示されている。 この障害モードを動機として,創造的ツールの使用を優先学習問題とするアライメント(アライメント,アライメント,アライメント)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T23:59:02Z)
• Combinatorial Creativity: A New Frontier in Generalization Abilities [14.121904952399975]
  大規模言語モデル(LLM)における創造性のスケーリング挙動について検討する。 固定的な計算予算では、創造力に最適なモデル深さと幅が存在することが分かりました。 LLMは新たな科学的アイデアの創出に長けつつ,現実的な実現性確保に苦慮しているため,創造性アルゴリズムの基本的な新規性・実用性トレードオフ特性によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-09-25T11:48:37Z)
• Creation-MMBench: Assessing Context-Aware Creative Intelligence in MLLM [58.42678619252968]
  Creation-MMBenchはマルチモーダル大言語モデルの創造性を評価するために設計されたベンチマークである。 ベンチマークは、51のきめ細かいタスクにまたがる765のテストケースで構成されている。 実験結果から,オープンソースのMLLMは,クリエイティブタスクにおけるプロプライエタリなモデルに比べて著しく性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:51:34Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• EscapeBench: Towards Advancing Creative Intelligence of Language Model Agents [49.44742596224033]
  EscapeBenchは、クリエイティブな推論を伴うエージェントに挑戦するために設計されたルームエスケープゲーム環境のベンチマークスイートである。 その結果,現在のLMモデルでは,動作メモリとChain-of-Thought推論が採用されているが,ヒントのない平均進行率は15%に過ぎなかった。 EscapeAgentは、Foresight(イノベーティブ・ツール・ユース)とReflection(未解決タスクの特定)による創造的推論を強化するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-12-18T06:50:39Z)
• Benchmarking Language Model Creativity: A Case Study on Code Generation [39.546827184857754]
  本研究では,LLMの創造性を定量化するフレームワークを提案する。 生成した創造的応答における収束的思考と発散的思考の両方を定量化する計量であるNEOGAUGEを定義する。 我々はCodeforcesの問題に関する提案されたフレームワークをテストする。これは、タスクをコーディングするための自然なデータセットと、先行する人間のソリューションのコレクションの両方に役立ちます。
  論文  参考訳（メタデータ） (2024-07-12T05:55:22Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。