論文の概要: Multimodal Lecture Presentations Dataset: Understanding Multimodality in Educational Slides

• arxiv url: http://arxiv.org/abs/2208.08080v1
• Date: Wed, 17 Aug 2022 05:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:12:13.181759
• Title: Multimodal Lecture Presentations Dataset: Understanding Multimodality in Educational Slides
• Title（参考訳）: マルチモーダルプレゼンテーションデータセット:教育スライドにおけるマルチモーダル理解
• Authors: Dong Won Lee, Chaitanya Ahuja, Paul Pu Liang, Sanika Natu, Louis-Philippe Morency
• Abstract要約: 学習内容のマルチモーダル理解における機械学習モデルの能力を検証する。 このデータセットには,180時間以上のビデオと9000時間以上のスライドが,各科目から10人の講師が参加している。 マルチモーダル・トランスフォーマーであるPolyViLTを導入する。
• 参考スコア（独自算出の注目度）: 57.86931911522967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lecture slide presentations, a sequence of pages that contain text and figures accompanied by speech, are constructed and presented carefully in order to optimally transfer knowledge to students. Previous studies in multimedia and psychology attribute the effectiveness of lecture presentations to their multimodal nature. As a step toward developing AI to aid in student learning as intelligent teacher assistants, we introduce the Multimodal Lecture Presentations dataset as a large-scale benchmark testing the capabilities of machine learning models in multimodal understanding of educational content. Our dataset contains aligned slides and spoken language, for 180+ hours of video and 9000+ slides, with 10 lecturers from various subjects (e.g., computer science, dentistry, biology). We introduce two research tasks which are designed as stepping stones towards AI agents that can explain (automatically captioning a lecture presentation) and illustrate (synthesizing visual figures to accompany spoken explanations) educational content. We provide manual annotations to help implement these two research tasks and evaluate state-of-the-art models on them. Comparing baselines and human student performances, we find that current models struggle in (1) weak crossmodal alignment between slides and spoken text, (2) learning novel visual mediums, (3) technical language, and (4) long-range sequences. Towards addressing this issue, we also introduce PolyViLT, a multimodal transformer trained with a multi-instance learning loss that is more effective than current approaches. We conclude by shedding light on the challenges and opportunities in multimodal understanding of educational presentations.
• Abstract（参考訳）: 講義スライドのプレゼンテーションは、学生に最適な知識を伝達するために、テキストと音声を伴う図形を含む一連のページを構築し、慎重に提示する。 マルチメディアと心理学におけるこれまでの研究は、講義のプレゼンテーションの有効性をマルチモーダル性に限定している。 知的教師アシスタントとしての学習を支援するAI開発に向けたステップとして,学習内容のマルチモーダル理解における機械学習モデルの能力をテストする大規模ベンチマークとして,マルチモーダル講義プレゼンテーションデータセットを導入する。 このデータセットには、180時間以上のビデオと9000時間以上のスライドを並べたスライドと音声言語が含まれており、様々な科目(コンピュータ科学、歯科医学、生物学など)から10人の講師が参加している。 本稿では,AIエージェントへのステップストーンとしてデザインされた2つの研究課題について紹介する。 これら2つの研究タスクの実装を支援し,その上で最先端のモデルを評価するための手動アノテーションを提供する。 ベースラインと人的学生のパフォーマンスを比較すると,(1)スライドと音声テキスト間の弱いクロスモーダルアライメント,(2)新しいビジュアルメディアの学習,(3)技術的言語,(4)長距離シーケンスにおいて,現在のモデルが苦労していることが分かる。 この問題に対処するために,既存のアプローチよりも効果的なマルチインスタンス学習損失をトレーニングしたマルチモーダルトランスフォーマーであるPolyViLTを導入する。 最後に,教育プレゼンテーションのマルチモーダル理解における課題と機会について概説する。

関連論文リスト

• Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond [51.141270065306514]
  このチュートリアルは、マルチモーダルAIを活用するための知識とスキルを研究者、実践者、新参者に提供することを目的としている。 最新のマルチモーダルデータセットと事前訓練されたモデル、例えばビジョンや言語以外のものについても取り上げる。 ハンズオン実験室は、最先端のマルチモーダルモデルで実践的な経験を提供する。
  論文  参考訳（メタデータ） (2024-10-08T01:41:56Z)
• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Towards Multi-Task Multi-Modal Models: A Video Generative Perspective [5.495245220300184]
  この論文は、さまざまな条件下でビデオやその他のモダリティを生成するマルチタスクモデルを構築するために、我々の努力を年代記している。 我々は、視覚的観察と解釈可能な語彙の双方向マッピングのための新しいアプローチを公表する。 私たちのスケーラブルなビジュアルトークン表現は、生成、圧縮、理解タスクで有益であることが証明されます。
  論文  参考訳（メタデータ） (2024-05-26T23:56:45Z)
• M$^3$AV: A Multimodal, Multigenre, and Multipurpose Audio-Visual Academic Lecture Dataset [26.339836754484082]
  マルチモーダル・マルチジャンル・多目的音声視覚学術講義データセット(M$3$AV)を提案する。 M$3$AVには、コンピュータ科学、数学、医学、生物学に関する5つの情報源から367時間分のビデオがある。 スライドテキストと音声単語の高品質な人間のアノテーションにより、データセットは複数の音声視覚認識および理解タスクに使用することができる。
  論文  参考訳（メタデータ） (2024-03-21T06:43:59Z)
• Language as the Medium: Multimodal Video Classification through text only [3.744589644319257]
  マルチモーダル映像情報をキャプチャする詳細なテキスト記述を生成するためのモデルに依存しない新しい手法を提案する。 本手法は, GPT-3.5 や Llama2 といった大規模言語モデルによって学習された広範な知識を活用する。 UCF-101 や Kinetics などの一般的な行動認識ベンチマークによる評価は,これらの文脈に富んだ記述をビデオ理解タスクでうまく利用できることを示す。
  論文  参考訳（メタデータ） (2023-09-19T17:32:21Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。