論文の概要: Creativity or Brute Force? Using Brainteasers as a Window into the Problem-Solving Abilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.10844v1
• Date: Fri, 16 May 2025 04:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.067852
• Title: Creativity or Brute Force? Using Brainteasers as a Window into the Problem-Solving Abilities of Large Language Models
• Title（参考訳）: 創造性かブルート力か? 大規模言語モデルにおける問題解決能力の窓口としてブレインテザを用いた検討
• Authors: Simeng Han, Stephen Xia, Grant Zhang, Howard Dai, Chen Liu, Lichang Chen, Hoang Huy Nguyen, Hongyuan Mei, Jiayuan Mao, R. Thomas McCoy,
• Abstract要約: 我々は、モデルが使用する推論戦略のタイプをより深く調査するために、長い物語形式で書かれたブレインティーザに基づくベンチマークを導入する。 ブレインティーザは、創造的な洞察を使った数ステップのソリューションや、より残酷な力を使ったより長いソリューションなど、複数のアプローチで解決することができる。
• 参考スコア（独自算出の注目度）: 28.791905315055974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accuracy remains a standard metric for evaluating AI systems, but it offers limited insight into how models arrive at their solutions. In this work, we introduce a benchmark based on brainteasers written in long narrative form to probe more deeply into the types of reasoning strategies that models use. Brainteasers are well-suited for this goal because they can be solved with multiple approaches, such as a few-step solution that uses a creative insight or a longer solution that uses more brute force. We investigate large language models (LLMs) across multiple layers of reasoning, focusing not only on correctness but also on the quality and creativity of their solutions. We investigate many aspects of the reasoning process: (1) semantic parsing of the brainteasers into precise mathematical competition style formats; (2) generating solutions from these mathematical forms; (3) self-correcting solutions based on gold solutions; (4) producing step-by-step sketches of solutions; and (5) making use of hints. We find that LLMs are in many cases able to find creative, insightful solutions to brainteasers, suggesting that they capture some of the capacities needed to solve novel problems in creative ways. Nonetheless, there also remain situations where they rely on brute force despite the availability of more efficient, creative solutions, highlighting a potential direction for improvement in the reasoning abilities of LLMs.
• Abstract（参考訳）: 精度は依然としてAIシステムを評価する標準的な指標だが、モデルがどのようにソリューションに到達するかについて、限られた洞察を提供する。 本研究では,モデルが使用する推論戦略のタイプをより深く探求するために,長い物語形式で書かれたブレインテザに基づくベンチマークを導入する。 ブレインテザは、創造的な洞察を使う数ステップのソリューションや、より残酷な力を使う長いソリューションなど、複数のアプローチで解決できるため、この目標に適しています。 複数の推論層にわたる大規模言語モデル(LLM)について検討し、正確性だけでなく、ソリューションの品質や創造性にも焦点をあてる。 推論過程の多くの側面について検討する:(1)脳触手から正確な数学的競争形式への意味解析、(2)これらの数学的形式からの解の生成、(3)金解に基づく自己補正ソリューション、(4)解のステップバイステップスケッチの作成、(5)ヒントの活用。 LLMは、多くの場合、創造的で洞察力に富んだ、ブレインティーザーのソリューションを見つけることができ、創造的な方法で新しい問題を解決するのに必要な能力のいくつかを捉えていることを示唆している。 それにもかかわらず、より効率的で創造的なソリューションが利用可能であるにもかかわらず、彼らが残酷な力に頼る状況も残っており、LLMの推論能力を改善するための潜在的方向性を強調している。

関連論文リスト

• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Flow of Reasoning:Training LLMs for Divergent Problem Solving with Minimal Examples [12.48027669682156]
  Flow of Reasoning (FoR)は、最小限のデータで推論の品質と多様性を改善することを目的としている。 FoR は DAG 構造推論グラフ上のマルコフフローとして多段階 LLM 推論を定式化する。 実験によると、限られたトレーニング例で、FoRは多様な創造的で高品質なソリューションの発見を可能にする。
  論文  参考訳（メタデータ） (2024-06-09T07:06:58Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
  本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。 我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。 我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
  論文  参考訳（メタデータ） (2023-11-16T08:52:27Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。