論文の概要: Towards Breaking the Learning System Wall Using Multimodal Tutoring Transcriptions
- arxiv url: http://arxiv.org/abs/2609.36502v1
- Date: Tue, 29 Sep 2026 01:56:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.109822
- Title: Towards Breaking the Learning System Wall Using Multimodal Tutoring Transcriptions
- Title（参考訳）: マルチモーダルテュータリングによる学習システム壁の破壊に向けて
- Abstract要約: 本稿では,AIによるマルチモーダル文字起こしシステムを導入し,画面録画映像を統一されたスクリーンプレイスタイルの文字起こしに加工する。
本稿では,AI生成したマルチモーダルテキストをMATHia学習ログと時間的に整合させる手法と,MATHia学習ログと整合する学習過程の同定と分類について述べる。
- 参考スコア（独自算出の注目度）: 1.2413597967589014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Past research using log data has faced the "learning system wall," whereby few methods exist for generalizing models of student learning across platforms. Increasingly, online learning is captured by richer forms of data, including dialog and video, with new affordances. An example of this is remote tutoring programs, where human tutors support students who use learning systems while video conferencing. Toward better platform-general modeling of learning, we introduce an AI-driven multimodal transcription system that processes screen-recording videos into unified screenplay-style transcripts containing audio dialogue and annotated learning log actions. We describe a planned method for temporally aligning AI-generated multimodal transcripts with MATHia learning logs and for identifying and classifying student learning processes to align with MATHia logs. Lastly, we highlight challenges and potential solutions in capturing learning processes in one system, offering initial steps towards generalizing log data across diverse systems.
- Abstract（参考訳）: ログデータを用いた過去の研究は「学習システムの壁」に直面しており、プラットフォームを越えた学習モデルの一般化のための方法がほとんど存在しない。
オンライン学習は、ダイアログやビデオなど、よりリッチな形式のデータによって、新たな余裕が生まれつつある。
例えば、遠隔教育プログラムでは、ビデオ会議中に学習システムを使用する学生を支援する。
学習のプラットフォーム・ジェネラル・モデリングの改善に向けて,音声対話と注釈付き学習ログアクションを含む統一されたスクリーンプレイスタイルの文字起こしに画面録画ビデオを処理する,AI駆動型マルチモーダル文字起こしシステムを導入する。
本稿では,AI生成したマルチモーダルテキストをMATHia学習ログに時間的整合させる手法と,MATHia学習ログと整合する学習過程の同定と分類について述べる。
最後に、ひとつのシステムで学習プロセスをキャプチャする際の課題と潜在的な解決策を強調し、多様なシステムにまたがるログデータを一般化するための最初のステップを提供します。
関連論文リスト
- Language-Model-Assisted Bi-Level Programming for Reward Learning from Internet Videos [48.2044649011213]
我々は、強化学習エージェントがインターネットビデオから報酬を学べるように、言語モデル支援のバイレベルプログラミングフレームワークを導入する。
このフレームワークは、視覚言語モデル(VLM)が学習者の振る舞いをエキスパートビデオと比較することでフィードバックを提供する上位レベルと、このフィードバックを報酬更新に変換する大規模言語モデル(LLM)の下位レベルである。
そこで本研究では,YouTubeビデオから報酬を学習する手法を検証するとともに,提案手法が生物エージェントのエキスパートビデオから効率的に報酬をデザインできることを示した。
論文 参考訳（メタデータ） (2024-10-11T22:31:39Z) - Intelligent Interface: Enhancing Lecture Engagement with Didactic Activity Summaries [0.054204929130712134]
このプロトタイプは、機械学習に基づく技術を用いて、講義のビデオ録画の中で選択された実践的、行動的な教師の特徴を認識する。
このシステムは、新しい/追加の機械学習モデルと画像およびビデオ分析のためのソフトウェアモジュールの(将来の)統合のための柔軟性を提供する。
論文 参考訳（メタデータ） (2024-06-20T12:45:23Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - Collaborative Reasoning on Multi-Modal Semantic Graphs for
Video-Grounded Dialogue Generation [53.87485260058957]
本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。
本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。
異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
論文 参考訳（メタデータ） (2022-10-22T14:45:29Z) - Multimodal Lecture Presentations Dataset: Understanding Multimodality in
Educational Slides [57.86931911522967]
学習内容のマルチモーダル理解における機械学習モデルの能力を検証する。
このデータセットには,180時間以上のビデオと9000時間以上のスライドが,各科目から10人の講師が参加している。
マルチモーダル・トランスフォーマーであるPolyViLTを導入する。
論文 参考訳（メタデータ） (2022-08-17T05:30:18Z) - Findings from Experiments of On-line Joint Reinforcement Learning of
Semantic Parser and Dialogue Manager with real Users [3.9686445409447617]
本論文では,これらの困難を緩和する便利な方法として,オンライン学習を追求する。
新しい課題は、ユーザが生み出すオンライン学習のコストを制御することである。
論文 参考訳（メタデータ） (2021-10-25T18:51:41Z) - A System for Real-Time Interactive Analysis of Deep Learning Training [66.06880335222529]
現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。
本稿では,リアルタイム情報を生成するライブプロセス上で対話型クエリを実行可能にするシステムを提案する。
論文 参考訳（メタデータ） (2020-01-05T11:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。