論文の概要: Scalable and Explainable Learner-Video Interaction Prediction using Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2604.04482v1
• Date: Mon, 06 Apr 2026 07:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.127887
• Title: Scalable and Explainable Learner-Video Interaction Prediction using Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いたスケーラブルで説明可能な学習者とビデオのインタラクション予測
• Authors: Dominik Glandorf, Fares Fawzi, Tanja Käser,
• Abstract要約: 教育ビデオのビデオコントロールは、認知処理の暗黙の信号と教育設計の質を提供する。 本稿では,人口レベルの監視・一時停止・スキップ・巻き戻し行動を予測するための,スケーラブルで解釈可能なパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 7.74287993376099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learners' use of video controls in educational videos provides implicit signals of cognitive processing and instructional design quality, yet the lack of scalable and explainable predictive models limits instructors' ability to anticipate such behavior before deployment. We propose a scalable, interpretable pipeline for predicting population-level watching, pausing, skipping, and rewinding behavior as proxies for cognitive load from video content alone. Our approach leverages multimodal large language models (MLLMs) to compute embeddings of short video segments and trains a neural classifier to identify temporally fine-grained interaction peaks. Drawing from multimedia learning theory on instructional design for optimal cognitive load, we code features of the video segments using GPT-5 and employ them as a basis for interpreting model predictions via concept activation vectors. We evaluate our pipeline on 77 million video control events from 66 online courses. Our findings demonstrate that classifiers based on MLLM embeddings reliably predict interaction peaks, generalize to unseen academic fields, and encode interpretable, theory-relevant instructional concepts. Overall, our results show the feasibility of cost-efficient, interpretable pre-screening of educational video design and open new opportunities to empirically examine multimedia learning theory at scale.
• Abstract（参考訳）: 教育ビデオにおけるビデオコントロールの使用は、認知処理と教育設計品質の暗黙のシグナルを提供するが、スケーラブルで説明可能な予測モデルが欠如していることは、教育者が展開前にそのような行動を予測できる能力を制限している。 本稿では,ビデオコンテンツのみからの認知的負荷のプロキシとして,人口レベルの視聴・一時停止・スキップ・巻き戻し行動を予測するための,スケーラブルで解釈可能なパイプラインを提案する。 提案手法では,マルチモーダル大言語モデル(MLLM)を用いて短いビデオセグメントの埋め込みを計算し,時間的にきめ細かな相互作用ピークを特定するためにニューラル分類器を訓練する。 最適認知負荷のための指導設計に関するマルチメディア学習理論からGPT-5を用いて映像セグメントの特徴を記述し,概念アクティベーションベクトルによるモデル予測の解釈の基盤として利用する。 66のオンラインコースから7700万の動画制御イベントについてパイプラインを評価した。 MLLM埋め込みに基づく分類器は,相互作用ピークを確実に予測し,未知の分野に一般化し,解釈可能な理論関連指導概念を符号化することを示した。 全体として,教育用ビデオデザインのコスト効率,解釈可能な事前スクリーニングの実現可能性を示し,大規模マルチメディア学習理論を実証的に検証する新たな機会を開く。

関連論文リスト

• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Video-MMLU: A Massive Multi-Discipline Lecture Understanding Benchmark [27.487587901232057]
  0.5Bから40Bパラメータの90以上のオープンソースおよびプロプライエタリモデルを評価した。 本結果は,これらの講義で提示される認知的課題に対処する上で,現在のモデルが持つ限界を強調するものである。
  論文  参考訳（メタデータ） (2025-04-20T17:58:46Z)
• LifelongMemory: Leveraging LLMs for Answering Queries in Long-form Egocentric Videos [15.127197238628396]
  LifelongMemoryは、自然言語による質問応答と検索を通じて、長い形式のエゴシックなビデオメモリにアクセスするための新しいフレームワークである。 Ego4D の自然言語クエリ (NLQ) の課題に対して,本手法は質問応答のためのベンチマークの最先端性能を実現し,高い競争力を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T19:19:25Z)
• Graph Neural Prompting with Large Language Models [32.97391910476073]
  Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。 複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
  論文  参考訳（メタデータ） (2023-09-27T06:33:29Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Modular Action Concept Grounding in Semantic Video Prediction [28.917125574895422]
  本稿では,セマンティックアクションラベルを用いてインタラクションを記述するセマンティックアクション条件付きビデオ予測のタスクを紹介する。 様々な視覚的概念学習者の構造的組み合わせによって,各抽象ラベルを具現化する。 提案手法は,新たに設計された2つの合成データセットと1つの実世界のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-11-23T04:12:22Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。