論文の概要: EduVidQA: Generating and Evaluating Long-form Answers to Student Questions based on Lecture Videos
- arxiv url: http://arxiv.org/abs/2509.24120v1
- Date: Sun, 28 Sep 2025 23:33:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.644799
- Title: EduVidQA: Generating and Evaluating Long-form Answers to Student Questions based on Lecture Videos
- Title(参考訳): EduVidQA:講義映像に基づく学生質問に対する長文回答の生成と評価
- Authors: Sourjyadip Ray, Shubham Sharma, Somak Aditya, Pawan Goyal,
- Abstract要約: 本稿では,マルチモーダル大規模言語モデル(MLLM)を用いて,オンライン講義から学生の質問に自動的に答える方法について検討する。
EduVidQAデータセットは,296のコンピュータサイエンスビデオから5252対の質問応答ペア(合成と実の両方)で紹介され,さまざまなトピックと難易度をカバーしている。
- 参考スコア(独自算出の注目度): 8.393656792613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As digital platforms redefine educational paradigms, ensuring interactivity remains vital for effective learning. This paper explores using Multimodal Large Language Models (MLLMs) to automatically respond to student questions from online lectures - a novel question answering task of real world significance. We introduce the EduVidQA Dataset with 5252 question-answer pairs (both synthetic and real-world) from 296 computer science videos covering diverse topics and difficulty levels. To understand the needs of the dataset and task evaluation, we empirically study the qualitative preferences of students, which we provide as an important contribution to this line of work. Our benchmarking experiments consist of 6 state-of-the-art MLLMs, through which we study the effectiveness of our synthetic data for finetuning, as well as showing the challenging nature of the task. We evaluate the models using both text-based and qualitative metrics, thus showing a nuanced perspective of the models' performance, which is paramount to future work. This work not only sets a benchmark for this important problem, but also opens exciting avenues for future research in the field of Natural Language Processing for Education.
- Abstract(参考訳): デジタルプラットフォームは教育パラダイムを再定義するため、効果的な学習には対話性を確保することが不可欠である。
本稿では,マルチモーダル大規模言語モデル(MLLM)を用いて,オンライン講義から学生の質問に自動的に答える手法を提案する。
EduVidQAデータセットは,296のコンピュータサイエンスビデオから5252組の質問応答ペア(合成と実の両方)で紹介され,さまざまなトピックと難易度をカバーしている。
データセットと課題評価のニーズを理解するため,学生の質的嗜好を実証的に研究し,この研究に重要な貢献をする。
我々のベンチマーク実験は6つの最先端MLLMから構成されており、それによって合成データによる微調整の有効性とタスクの難易度を明らかにしている。
そこで本研究では,テキストベースと定性的指標の両方を用いてモデルの評価を行い,今後の作業において最重要となる,モデルの性能の微妙な視点を示す。
この研究は、この重要な問題に対するベンチマークを設定するだけでなく、教育のための自然言語処理の分野における将来の研究へのエキサイティングな道を開く。
関連論文リスト
- Enhancing the Learning Experience: Using Vision-Language Models to Generate Questions for Educational Videos [6.689443785478135]
教育ビデオの学習指向質問生成における視覚言語モデルの有用性について検討する。
本研究は,現状の視覚言語モデルの有効性を概説し,課題の微調整と解決の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-05-03T11:37:31Z) - Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。
データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。
本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
論文 参考訳(メタデータ) (2025-01-16T16:19:53Z) - INTERACT: Enabling Interactive, Question-Driven Learning in Large Language Models [15.825663946923289]
大規模言語モデル(LLM)は、質問に答える能力は優れているが、知識を疑問視したり洗練したりすることなく、静的データを受動的に吸収する。
本稿では,LLMが学生と教師の対話を通して,対話型,質問駆動型学習にどのように移行できるかを考察する。
論文 参考訳(メタデータ) (2024-12-16T02:28:53Z) - AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [65.92331309449015]
本稿では,モデル能力の特定の側面に基づいてLVLMをベンチマークする,オンデマンドで評価を行う自動フレームワークであるAutoBench-Vを紹介する。
5つの要求されたユーザ入力に対して9つの人気のあるLVLMを広範囲に評価することにより、このフレームワークの有効性と信頼性を示す。
論文 参考訳(メタデータ) (2024-10-28T17:55:08Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - Student Data Paradox and Curious Case of Single Student-Tutor Model: Regressive Side Effects of Training LLMs for Personalized Learning [25.90420385230675]
パーソナライズされた教育の追求は、知的学習システムの開発におけるLarge Language Models(LLM)の統合につながった。
我々の研究は、このアプローチの根本的な課題を明らかにする:学生データパラドックス」
このパラドックスは、学習者の行動を理解するために学生データに基づいて訓練されたLLMが、故意に自身の事実的知識と推論能力を損なうときに現れる。
論文 参考訳(メタデータ) (2024-04-23T15:57:55Z) - MathVista: Evaluating Mathematical Reasoning of Foundation Models in
Visual Contexts [170.01089233942594]
MathVistaは、様々な数学的タスクと視覚的タスクの課題を組み合わせるために設計されたベンチマークである。
最高のパフォーマンスのGPT-4Vモデルは全体の49.9%の精度を達成し、第2位のパフォーマーであるBardを15.1%上回った。
GPT-4Vは、複雑な数字を理解し、厳格な推論を行うのに苦戦しているため、人間のパフォーマンスが10.4%下がったままである。
論文 参考訳(メタデータ) (2023-10-03T17:57:24Z) - Multimodal Lecture Presentations Dataset: Understanding Multimodality in
Educational Slides [57.86931911522967]
学習内容のマルチモーダル理解における機械学習モデルの能力を検証する。
このデータセットには,180時間以上のビデオと9000時間以上のスライドが,各科目から10人の講師が参加している。
マルチモーダル・トランスフォーマーであるPolyViLTを導入する。
論文 参考訳(メタデータ) (2022-08-17T05:30:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。