論文の概要: MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education

• arxiv url: http://arxiv.org/abs/2609.19088v1
• Date: Wed, 16 Sep 2026 17:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.918129
• Title: MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education
• Title（参考訳）: MUSE: 位置教育におけるマルチモーダル理解のための大規模ビジョンランゲージモデルのベンチマーク
• Abstract要約: MUSEは、芸術的イメージ理解における大きな視覚言語モデルを評価するためのベンチマークである。 視覚的知覚、意味的および感情的解釈、文化理解、構成的推論にまたがる12のタスクから構成される。
• 参考スコア（独自算出の注目度）: 6.311057000330762
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large vision-language models have achieved remarkable progress in multi-modal understanding, yet their capabilities in educational settings remain insufficiently evaluated. In AI-assisted language learning, models must interpret artistic imagery, understand its semantic, affective, and cultural content, and reason about visual context to support meaningful interaction. However, existing benchmarks primarily focus on real-world images or domain-specific educational reasoning, providing limited coverage of artistic educational content. To address this gap, we introduce MUSE, a benchmark for evaluating large vision-language models on artistic image understanding in situated educational applications. MUSE decouples image annotation from question generation, enabling diverse tasks with controllable difficulty while reducing annotation effort. It comprises twelve tasks spanning visual perception, semantic and affective interpretation, culture understanding, and compositional reasoning, together with diverse artistic images deliberately curated to center Singaporean and Southeast Asian multicultural contexts alongside Western art traditions, covering multiple themes and difficulty levels. Evaluation of open-source and proprietary models reveals substantial disparities across capability dimensions, particularly in affective interpretation and compositional reasoning. Our analysis further identifies common failure modes and key challenges for developing trustworthy multi-modal models for education. We hope MUSE will serve as a standardized benchmark for advancing multi-modal understanding in situated educational applications.
• Abstract（参考訳）: 大規模な視覚言語モデルは、マルチモーダル理解において顕著な進歩を遂げているが、教育環境におけるそれらの能力は、まだ十分に評価されていない。 AIによる言語学習では、モデルは芸術的イメージを解釈し、その意味、感情的、文化的な内容を理解し、意味のある相互作用をサポートするために視覚的コンテキストについて考える必要がある。 しかし、既存のベンチマークは主に現実世界の画像やドメイン固有の教育的推論に焦点を当てており、芸術的な教育内容の限られた範囲を提供している。 このギャップに対処するために、位置教育応用における芸術的イメージ理解における大規模視覚言語モデルの評価のためのベンチマークであるMUSEを紹介する。 MUSEは、画像アノテーションを質問生成から切り離し、アノテーションの労力を減らしながら、制御可能な困難を伴う多様なタスクを可能にする。 視覚的知覚、意味的・感情的解釈、文化理解、構成的推論にまたがる12のタスクと、西欧美術の伝統とともにシンガポールと東南アジアの多文化的文脈の中心に意図的にキュレーションされた多様な芸術的イメージで構成され、複数のテーマと難易度をカバーしている。 オープンソースおよびプロプライエタリなモデルの評価は、特に感情的な解釈や構成的推論において、能力の次元における大きな相違を明らかにしている。 この分析により,教育に有効なマルチモーダルモデルを開発する上で,共通の障害モードと重要な課題が明らかになった。 私たちは、MUSEが、位置する教育アプリケーションにおけるマルチモーダル理解を促進するための標準化されたベンチマークとして機能することを望んでいます。

関連論文リスト

• Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
  TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。 また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
  論文  参考訳（メタデータ） (2026-09-02T13:19:51Z)
• BLEnD-Vis: Benchmarking Multimodal Cultural Understanding in Vision Language Models [54.16874020794336]
  視覚言語モデル(VLM)における日常的文化的知識の堅牢性を評価するためのベンチマークであるBLEnD-Visを紹介する。 BLEnD-Visは16の領域にまたがる文化的根拠を持つ313の質問テンプレートを構築し、3つの整列した複数選択形式を生成する。 その結果得られたベンチマークは、4,916の画像と、人間のアノテーションで検証された21,000以上のMultiple-choice Question (MCQ)インスタンスで構成されている。
  論文  参考訳（メタデータ） (2025-10-13T09:10:05Z)
• Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models [1.9253106218929117]
  MLLM(Multimodal Large Language Models)は、視覚的な入力を完全に活用できないことが多い。 われわれのアプローチはまず、MLLMが画像領域の視覚的理解をどのように構築するかについての洞察を与え、その能力を増幅する技術を導入する。 本稿では,視覚的に依存するトークンの予測能力の定量化と,視覚的に困難なタスクの10 pt の高速化により,結果モデルのより優れたマルチモーダル理解を実証する。
  論文  参考訳（メタデータ） (2025-05-08T20:04:27Z)
• From No to Know: Taxonomy, Challenges, and Opportunities for Negation Understanding in Multimodal Foundation Models [48.68342037881584]
  否定は、欠如、否定、矛盾を含む言語構造であり、多言語多モーダル基盤モデルにとって重要な課題である。 本稿では, 否定構造を包括的に分類し, 構造的, 意味的, 文化的要因がマルチモーダル基盤モデルにどのように影響するかを考察する。 我々は、特別なベンチマーク、言語固有のトークン化、きめ細かい注意機構、高度なマルチモーダルアーキテクチャを提唱する。
  論文  参考訳（メタデータ） (2025-02-10T16:55:13Z)
• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。