論文の概要: Evaluating Large Vision-and-Language Models on Children's Mathematical Olympiads

• arxiv url: http://arxiv.org/abs/2406.15736v1
• Date: Sat, 22 Jun 2024 05:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:54:52.649962
• Title: Evaluating Large Vision-and-Language Models on Children's Mathematical Olympiads
• Title（参考訳）: 子どもの数学オリンピックにおける視覚・言語モデルの評価
• Authors: Anoop Cherian, Kuan-Chuan Peng, Suhas Lohit, Joanna Matthiesen, Kevin Smith, Joshua B. Tenenbaum,
• Abstract要約: ジョイントビジョンとテキスト推論のためのAI能力の体系的分析は、現在の科学文献に欠けている。 我々は,子どものオリンピアードからのビジュオ言語問題を用いて,その数学的およびアルゴリズム的推論能力に基づいて,最先端のLVLMを評価した。 以上の結果から,近代のLVLMは,高学年の問題解決において,より強力な推論能力を示す一方で,幼児向けの問題に正しく答える基盤が欠如していることが示唆された。
• 参考スコア（独自算出の注目度）: 74.54183505245553
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent years have seen a significant progress in the general-purpose problem solving abilities of large vision and language models (LVLMs), such as ChatGPT, Gemini, etc.; some of these breakthroughs even seem to enable AI models to outperform human abilities in varied tasks that demand higher-order cognitive skills. Are the current large AI models indeed capable of generalized problem solving as humans do? A systematic analysis of AI capabilities for joint vision and text reasoning, however, is missing in the current scientific literature. In this paper, we make an effort towards filling this gap, by evaluating state-of-the-art LVLMs on their mathematical and algorithmic reasoning abilities using visuo-linguistic problems from children's Olympiads. Specifically, we consider problems from the Mathematical Kangaroo (MK) Olympiad, which is a popular international competition targeted at children from grades 1-12, that tests children's deeper mathematical abilities using puzzles that are appropriately gauged to their age and skills. Using the puzzles from MK, we created a dataset, dubbed SMART-840, consisting of 840 problems from years 2020-2024. With our dataset, we analyze LVLMs power on mathematical reasoning; their responses on our puzzles offer a direct way to compare against that of children. Our results show that modern LVLMs do demonstrate increasingly powerful reasoning skills in solving problems for higher grades, but lack the foundations to correctly answer problems designed for younger children. Further analysis shows that there is no significant correlation between the reasoning capabilities of AI models and that of young children, and their capabilities appear to be based on a different type of reasoning than the cumulative knowledge that underlies children's mathematics and logic skills.
• Abstract（参考訳）: 近年,ChatGPTやGeminiなど,大規模視覚・言語モデル(LVLM)の汎用的問題解決能力が著しく進歩している。 これらのブレークスルーのいくつかは、高次の認知スキルを必要とするさまざまなタスクにおいて、AIモデルが人間の能力を上回っているようにさえ見えます。 現在の大きなAIモデルは、人間のように一般化された問題解決が可能か? しかし、ジョイントビジョンとテキスト推論のためのAI能力の体系的な分析は、現在の科学文献に欠けている。 本稿では, このギャップを埋めるために, 子どものオリンピアードのビジュオ言語問題を用いて, 数学的, アルゴリズム的推論能力について, 最先端のLVLMを評価した。 具体的には,1～12年生の子どもを対象とする国際コンペである数学カンガルー(MK)オリンピアード(Olympiad)の問題について考察する。 MKのパズルを用いて、2020-2024年の840個の問題からなるSMART-840というデータセットを作成しました。 我々のデータセットを用いて,LVLMのパワーを数学的推論に基づいて分析し,パズルに対する反応は,子供のそれと直接比較する方法を提供する。 以上の結果から,近代のLVLMは,高学年の問題解決において,より強力な推論能力を示す一方で,幼児向けの問題に正しく答える基盤が欠如していることが示唆された。 さらに分析したところ、AIモデルの推論能力と幼児の推論能力の間に有意な相関は見られず、それらの能力は、子どもの数学や論理のスキルの根底にある累積的知識とは異なるタイプの推論に基づいているようである。

関連論文リスト

• Assessing the Creativity of LLMs in Proposing Novel Solutions to Mathematical Problems [9.162206328913237]
  本研究では,Large Language Models (LLMs) の数学的推論における創造的可能性について検討する。 本稿では,中学のカリキュラムからオリンピックレベルの競技までを含む新しいフレームワークとベンチマークであるCreativeMathを紹介する。 実験の結果, LLMは標準的な数学的なタスクではうまく機能するが, 創造的な問題解決能力は著しく異なることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T00:12:49Z)
• MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
  大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。 本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
  論文  参考訳（メタデータ） (2024-06-26T13:02:35Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• BDIQA: A New Dataset for Video Question Answering to Explore Cognitive Reasoning through Theory of Mind [21.806678376095576]
  心の理論(ToM)は、AIをより人間の思考プロセスによく似ている。 ビデオ質問応答(Video QA)データセットは、人間のToMを真に取り入れたイベントの因果推論を研究することに焦点を当てている。 本稿では,ToMの文脈におけるビデオQAモデルの認知的推論能力に関する最初のベンチマークであるBDIQAを提案する。
  論文  参考訳（メタデータ） (2024-02-12T04:34:19Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Adapting Large Language Models for Education: Foundational Capabilities, Potentials, and Challenges [60.62904929065257]
  大規模言語モデル(LLM)は、個々の要求を解釈することでこの問題を解決する可能性を提供する。 本稿では, 数学, 文章, プログラミング, 推論, 知識に基づく質問応答など, 教育能力に関する最近のLLM研究を概観する。
  論文  参考訳（メタデータ） (2023-12-27T14:37:32Z)
• MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
  本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。 我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。 我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
  論文  参考訳（メタデータ） (2023-11-16T08:52:27Z)
• Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
  6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。 我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。 実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
  論文  参考訳（メタデータ） (2022-12-20T04:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。