論文の概要: Evaluating Multimodal Large Language Models on Educational Textbook Question Answering

• arxiv url: http://arxiv.org/abs/2506.21596v1
• Date: Wed, 18 Jun 2025 19:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.315164
• Title: Evaluating Multimodal Large Language Models on Educational Textbook Question Answering
• Title（参考訳）: 教育用教科書質問応答におけるマルチモーダル大言語モデルの評価
• Authors: Hessa A. Alawwad, Anas Zafar, Areej Alhothali, Usman Naseem, Ali Alkhathlan, Amani Jamal,
• Abstract要約: マルチモーダル大規模言語モデル(MLLM)は近年,視覚言語タスクにおいて大きな成功を収めている。 CK12-QAデータセットを用いた教科書質問応答(TQA)タスクにおける最先端MLLMの最初の評価について述べる。
• 参考スコア（独自算出の注目度）: 3.4729524020941063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have recently achieved significant success in vision--language tasks. However, their capacity to reason over complex, long lessons and intricate educational diagrams that cannot be represented as a single natural image remains largely untested. In this work, we present the first evaluation of state-of-the-art MLLMs on the textbook question answering (TQA) task using the CK12-QA dataset. We assess the performance of recent vision-language models, including LLaVA and LLaMA 3.2-Vision, across various input configurations. Additionally, we introduce a lightweight multimodal retrieval-augmented generation (RAG) pipeline that integrates both paragraphs and diagrams from the lesson into the prompt. Our results demonstrate the influence of retrieved educational context on model accuracy and reasoning, while also revealing current limitations in handling question-context relationships and the potential for noise, pointing to key directions for future research in multimodal AI-driven learning.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は近年,視覚言語タスクにおいて大きな成功を収めている。 しかし、複雑な長い教訓や、ひとつの自然像として表現できない複雑な教育図を論じる能力は、まだほとんど証明されていない。 本稿では,CK12-QAデータセットを用いた教科書質問応答(TQA)タスクにおいて,最先端MLLMの最初の評価を行う。 LLaVA や LLaMA 3.2-Vision を含む近年の視覚言語モデルの性能を様々な入力構成で評価する。 さらに,授業からの段落と図形の両方をプロンプトに統合する,軽量なマルチモーダル検索拡張生成(RAG)パイプラインを導入する。 本研究は,検索した学習コンテキストがモデル精度と推論に与える影響を実証するとともに,質問文関係の扱いにおける現在の限界とノイズの可能性を明らかにし,マルチモーダルAI駆動学習における今後の研究の方向性を示唆するものである。

関連論文リスト

• Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs [28.20725794099928]
  下流の多様なタスクに対する差別表現を学習する新しいフレームワークであるUniMEを紹介する。 最初の段階では、強力なLLMベースの教師モデルからテキスト識別的知識蒸留を行う。 第2段階では、識別表現学習をさらに進めるために、強陰性強化命令チューニングを導入する。
  論文  参考訳（メタデータ） (2025-04-24T10:51:52Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Enhancing Advanced Visual Reasoning Ability of Large Language Models [20.32900494896848]
  VL(Vision-Language)研究の最近の進歩は、複雑な視覚的推論のための新しいベンチマークを引き起こした。 我々はCVR-LLM(Complex Visual Reasoning Large Language Models)を提案する。 提案手法は,反復的自己修正ループを用いて,画像の詳細なコンテキスト認識記述に変換する。 また、LLMの文脈的理解と推論を強化するために、新しいマルチモーダル・インコンテキスト学習(ICL)手法を導入する。
  論文  参考訳（メタデータ） (2024-09-21T02:10:19Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。