論文の概要: LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")

• arxiv url: http://arxiv.org/abs/2606.05497v1
• Date: Wed, 03 Jun 2026 22:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.432923
• Title: LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")
• Title（参考訳）: LEVANTE-bench:認知課題児に対するVLMのマルチスケール比較(あるいは「5年生より賢いのか?」)
• Authors: Alvin Wei Ming Tan, David Cardinal, Tania Lorido-Botran, Laura Bravo-Sanchez, Sunny Yu, Michael C. Frank,
• Abstract要約: 視覚言語モデル(VLM)は、人間の認知をモデル化し、経験を積んで発展していくことを約束する。 LEVANTE-benchは,言語や文化における子どもの認知度を計測するタスクとデータに基づくベンチマークである。 モデルを複数スケールで比較し、全体的な精度、課題レベルとアイテムレベルとの整合性、そして子どもの試行レベルの誤差分布とどの程度うまく一致しているかを評価する。
• 参考スコア（独自算出の注目度）: 2.752863236015406
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Given the inherently multimodal nature of human experience, vision-language models (VLMs) hold substantial promise for modeling human cognition as it grows and develops with experience. Realizing their potential requires tools for comparing VLMs with human cognitive development across tasks, ages, and populations. We present LEVANTE-bench, a benchmark based on tasks and data from the Learning Variability Network (LEVANTE), which distributes open-source tasks and data measuring children's cognition across languages and cultures. In LEVANTE-bench, we systematically assess VLMs on six tasks, comparing their alignment with children aged 5-12 ($N$ = 1547) across three countries. We compare models at multiple scales, assessing their overall accuracy, their task- and item-level alignment with children, and how well they match children's trial-level error distributions. Alignment was heterogeneous across scales: at the level of tasks and items, more capable models aligned better with humans. However, match to human error distributions varied widely across tasks, and for several tasks, smaller models matched younger children's errors better. In addition, even the best-performing VLMs struggled on matrix reasoning and mental rotation tasks. Thus, current VLM architectures align only partially with the cognitive abilities of children.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、人間の体験の本質的にマルチモーダルな性質を考えると、人間の認知をモデル化し、経験とともに発展させるという大きな可能性を秘めている。 彼らの可能性を実現するには、VLMと人間の認知発達をタスク、年齢、人口で比較するツールが必要である。 本稿では,Learning Variability Network(LEVANTE)のタスクとデータに基づくベンチマークであるLEVANTE-benchについて述べる。 LEVANTE-benchでは,3ヶ国で5-12歳児(N$=1547)を対象に,VLMを6つのタスクで体系的に評価した。 モデルを複数スケールで比較し、その全体的な精度、課題レベルとアイテムレベルの子どもとの整合性、そして子どもの試行レベルの誤差分布とどの程度うまく一致しているかを評価する。 タスクやアイテムのレベルでは、より有能なモデルは人間とよりよく一致します。 しかし、人間の誤り分布にマッチする確率はタスクによって大きく変化し、いくつかのタスクでは、小さなモデルの方が幼児の誤りとよく一致した。 さらに、最高の性能のVLMでさえ、マトリックス推論とメンタルローテーションタスクに苦労した。 したがって、現在のVLMアーキテクチャは、子供の認知能力と部分的に一致しているだけである。

関連論文リスト

• Children's Intelligence Tests Pose Challenges for MLLMs? KidGym: A 2D Grid-Based Reasoning Benchmark for MLLMs [7.299886183446607]
  MLLM(Multimodal Large Language Models)は、LLMの言語的強みとマルチモーダルデータの処理能力を組み合わせた言語モデルである。 MLLMの5つの重要な機能を評価するための総合的な2DグリッドベースのベンチマークであるKidGymを紹介する。
  論文  参考訳（メタデータ） (2026-03-02T06:48:30Z)
• Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact [3.437656066916039]
  LLMはますますAIベンチマークに長けているが、ダウンストリームタスクの妥当性を保証するものではない。 本研究では,学童の指導・学習のアウト・オブ・ディストリビューション・タスクを用いた指導基盤モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2026-03-01T03:05:46Z)
• HumanEval-V: Benchmarking High-Level Visual Reasoning with Complex Diagrams in Coding Tasks [25.959032350818795]
  人間のアノテーションによるコーディングタスクのベンチマークであるHumanEval-Vを提案する。 各タスクは、関数シグネチャとテストケースを組み合わせた、慎重に構築されたダイアグラムを備えている。 トップパフォーマンスモデルでさえ、控えめな成功率を実現しています。
  論文  参考訳（メタデータ） (2024-10-16T09:04:57Z)
• What is the Visual Cognition Gap between Humans and Multimodal LLMs? [63.81347276258992]
  MLLM(Multimodal Large Language Models)の視覚認知能力を評価し,その性能を人間の視覚認知研究と比較した。 我々の比較実験では、MLLMと人間の知能のギャップが明らかになっている。 我々は,MaRs-VQAとQwen2-VCogベースラインモデルの公開が,人間の視覚認知能力を持つ次世代MLLMに向けて進展をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-14T22:02:21Z)
• What Are We Measuring When We Evaluate Large Vision-Language Models? An Analysis of Latent Factors and Biases [87.65903426052155]
  データから潜在視覚言語スキルの発見を目的とした大規模な移動学習実験を行った。 生成タスクが長さバイアスに悩まされることを示し、ベンチマークは出力長の異なるタスクのバランスをとるべきであることを示唆する。 我々は新しいデータセットOLIVEを提示し、そこでユーザーの指示をシミュレーションし、テストしたすべてのデータセットと異なる課題を提示します。
  論文  参考訳（メタデータ） (2024-04-03T02:40:35Z)
• Exploring intra-task relations to improve meta-learning algorithms [1.223779595809275]
  我々は,タスクの効果的なミニバッチによるトレーニング安定性向上のために,タスク関係の外部知識を活用することを目的としている。 ミニバッチでタスクの多様なセットを選択すると、完全な勾配がより良く見積もられるため、トレーニングにおけるノイズの低減につながる、という仮説を立てる。
  論文  参考訳（メタデータ） (2023-12-27T15:33:52Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。