論文の概要: MacGyver: Are Large Language Models Creative Problem Solvers?
- arxiv url: http://arxiv.org/abs/2311.09682v1
- Date: Thu, 16 Nov 2023 08:52:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:33:02.805665
- Title: MacGyver: Are Large Language Models Creative Problem Solvers?
- Title(参考訳): MacGyver: 大きな言語モデルは創造的な問題解決なのか?
- Authors: Yufei Tian, Abhilasha Ravichander, Lianhui Qin, Ronan Le Bras, Raja
Marjieh, Nanyun Peng, Yejin Choi, Thomas L. Griffiths, Faeze Brahman
- Abstract要約: 本稿では,現代大言語モデル(LLM)の創造的問題解決能力について,制約のある環境で検討する。
私たちは1,600の現実世界の問題からなる自動生成されたデータセットであるMacGyverを作成します。
MacGyverはどちらのグループでも難しいが、ユニークで相補的な方法では難しい。
- 参考スコア(独自算出の注目度): 90.62345519188655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore the creative problem-solving capabilities of modern large language
models (LLMs) in a constrained setting. The setting requires circumventing a
cognitive bias known in psychology as ''functional fixedness'' to use familiar
objects in innovative or unconventional ways. To this end, we create MacGyver,
an automatically generated dataset consisting of 1,600 real-world problems that
deliberately trigger functional fixedness and require thinking
'out-of-the-box'. We then present our collection of problems to both LLMs and
humans to compare and contrast their problem-solving abilities. We show that
MacGyver is challenging for both groups, but in unique and complementary ways.
For example, humans typically excel in solving problems that they are familiar
with but may struggle with tasks requiring domain-specific knowledge, leading
to a higher variance. On the other hand, LLMs, being exposed to a variety of
highly specialized knowledge, attempt broader problems but are prone to
overconfidence and propose actions that are physically infeasible or
inefficient. We also provide a detailed error analysis of LLMs, and demonstrate
the potential of enhancing their problem-solving ability with novel prompting
techniques such as iterative step-wise reflection and divergent-convergent
thinking. This work provides insight into the creative problem-solving
capabilities of humans and AI and illustrates how psychological paradigms can
be extended into large-scale tasks for comparing humans and machines.
- Abstract(参考訳): 我々は,現代大規模言語モデル(llms)の創造的問題解決能力を制約された環境で検討する。
この設定では、心理学において「機能的固定性」と呼ばれる認知バイアスを回避し、革新的または非伝統的な方法で親しみやすい物体を使用する必要がある。
この目的のためにMacGyverは,機能的固定性を意図的に引き起こし,‘out-of-the-box’を考える必要のある,1,600の現実世界の問題からなる自動生成データセットである。
次に、LLMと人間の両方に問題のコレクションを提示し、それらの問題解決能力を比較して比較する。
MacGyverはどちらのグループでも難しいが、ユニークで相補的な方法では難しい。
例えば、人間は通常、慣れ親しんだ問題を解決するのに優れているが、ドメイン固有の知識を必要とするタスクに苦しむことがある。
一方、LLMは様々な専門知識に晒され、より広範な問題を試みるが、自信過剰になりがちであり、物理的に不可能または非効率な行動を提案する。
また, LLMの詳細な誤差解析を行い, 反復的なステップワイドリフレクションや発散コンバージェント思考といった新しいプロンプト技術により, 問題解決能力を高める可能性を示す。
この研究は、人間とAIの創造的な問題解決能力についての洞察を与え、人間と機械を比較するための大規模タスクに心理的パラダイムをどのように拡張できるかを説明している。
関連論文リスト
- Do Language Models Exhibit the Same Cognitive Biases in Problem Solving
as Human Learners? [118.37810735783991]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。
我々はこれらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリック手法を用いて,新しい単語問題セットを生成する。
論文 参考訳(メタデータ) (2024-01-31T18:48:20Z) - MechAgents: Large language model multi-agent collaborations can solve
mechanics problems, generate new data, and integrate knowledge [0.6708125191843434]
ここでは、自律的なコラボレーションを通じて、弾力性に関する問題を実証する。
2エージェントチームは、古典的な弾性問題を解くために有限要素法を適用するために、効果的にコードを書き、実行し、自己修正することができる。
より複雑なタスクのために、我々は計画、定式化、コーディング、実行、プロセスと結果を批判する作業の分割を強化したより大きなエージェントグループを構築します。
論文 参考訳(メタデータ) (2023-11-14T13:49:03Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - Decoding Stumpers: Large Language Models vs. Human Problem-Solvers [14.12892960275563]
4つの最先端の大規模言語モデルの性能を人的参加者と比較する。
次世代のLSMは、ステンパーの解決と人間のパフォーマンスに勝る。
人間は、同じ問題に対する解決策を検証するのに優れたスキルを示す。
論文 参考訳(メタデータ) (2023-10-25T06:54:39Z) - OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities [19.83434949066066]
本稿では,OlaGPTと呼ばれる新しいインテリジェントなフレームワークを紹介する。
OlaGPTは認知アーキテクチャの枠組みを慎重に研究し、人間の認知の特定の側面をシミュレートすることを提案する。
このフレームワークは、注意、記憶、推論、学習、および対応するスケジューリングと意思決定メカニズムを含む、異なる認知モジュールの近似を含む。
論文 参考訳(メタデータ) (2023-05-23T09:36:51Z) - MLCopilot: Unleashing the Power of Large Language Models in Solving
Machine Learning Tasks [31.733088105662876]
我々は、新しいフレームワークを導入することで、機械学習と人間の知識のギャップを埋めることを目指している。
本稿では、構造化された入力を理解するためのLLMの能力を拡張し、新しいMLタスクを解くための徹底的な推論を行う可能性を示す。
論文 参考訳(メタデータ) (2023-04-28T17:03:57Z) - MLPro: A System for Hosting Crowdsourced Machine Learning Challenges for
Open-Ended Research Problems [1.3254304182988286]
我々は,オープンエンドMLコーディング問題の概念とオンラインコードの自動判定プラットフォームの概念を組み合わせるシステムを開発した。
十分に制約のない複雑な問題に対して、多くの専門家が同様の解決策を提出するが、一部の専門家は「典型的な」解クラスよりも優れた独自のソリューションを提供している。
論文 参考訳(メタデータ) (2022-04-04T02:56:12Z) - WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。
そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T12:25:21Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - Knowledge as Invariance -- History and Perspectives of
Knowledge-augmented Machine Learning [69.99522650448213]
機械学習の研究は転換点にある。
研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。
このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
論文 参考訳(メタデータ) (2020-12-21T15:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。