論文の概要: Classification of Important Segments in Educational Videos using Multimodal Features

• arxiv url: http://arxiv.org/abs/2010.13626v1
• Date: Mon, 26 Oct 2020 14:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 18:21:33.608007
• Title: Classification of Important Segments in Educational Videos using Multimodal Features
• Title（参考訳）: マルチモーダル特徴を用いた教育ビデオにおける重要セグメントの分類
• Authors: Junaid Ahmed Ghauri, Sherzod Hakimov and Ralph Ewerth
• Abstract要約: 本稿では,最先端の音声・視覚・テキスト機能を利用したマルチモーダルニューラルアーキテクチャを提案する。 本実験では,視覚的・時間的情報の影響と,重大予測に対するマルチモーダル特徴の組み合わせについて検討した。
• 参考スコア（独自算出の注目度）: 10.175871202841346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Videos are a commonly-used type of content in learning during Web search. Many e-learning platforms provide quality content, but sometimes educational videos are long and cover many topics. Humans are good in extracting important sections from videos, but it remains a significant challenge for computers. In this paper, we address the problem of assigning importance scores to video segments, that is how much information they contain with respect to the overall topic of an educational video. We present an annotation tool and a new dataset of annotated educational videos collected from popular online learning platforms. Moreover, we propose a multimodal neural architecture that utilizes state-of-the-art audio, visual and textual features. Our experiments investigate the impact of visual and temporal information, as well as the combination of multimodal features on importance prediction.
• Abstract（参考訳）: ビデオは、web検索の学習でよく使われるコンテンツだ。 多くのeラーニングプラットフォームは質の高いコンテンツを提供しているが、教育ビデオは長く、多くのトピックをカバーしている。 人間はビデオから重要な部分を取り出すのに長けているが、それでもコンピューターにとって重要な課題だ。 本稿では,映像セグメントに重要度スコアを割り当てる問題,すなわち,教育ビデオのトピック全体の情報量について述べる。 一般的なオンライン学習プラットフォームから収集したアノテーションツールと注釈付き教育ビデオの新しいデータセットを提案する。 さらに,最先端の音声,視覚,テキスト機能を活用したマルチモーダルニューラルアーキテクチャを提案する。 本実験では,視覚的・時間的情報の影響と,重大予測に対するマルチモーダル特徴の組み合わせについて検討した。

関連論文リスト

• Deep video representation learning: a survey [4.9589745881431435]
  近年,視覚データに対する逐次的特徴学習法が提案され,その特徴と欠点を比較して一般的なビデオ解析を行った。 ビデオ解析と理解を含むコンピュータビジョンタスクにおいて、ビデオの効果的な機能を構築することが根本的な問題である。
  論文  参考訳（メタデータ） (2024-05-10T16:20:11Z)
• FastPerson: Enhancing Video Learning through Effective Video Summarization that Preserves Linguistic and Visual Contexts [23.6178079869457]
  本稿では,講義ビデオにおける視覚情報と聴覚情報の両方を考慮した映像要約手法であるFastPersonを提案する。 FastPersonは、音声の書き起こしと画面上の画像とテキストを利用して要約ビデオを作成する。 従来のビデオ再生方式と同じレベルの理解度で視聴時間を53%短縮する。
  論文  参考訳（メタデータ） (2024-03-26T14:16:56Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• Just a Glimpse: Rethinking Temporal Information for Video Continual Learning [58.7097258722291]
  個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。 極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。 提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
  論文  参考訳（メタデータ） (2023-05-28T19:14:25Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Self-Supervised Learning for Videos: A Survey [70.37277191524755]
  自己教師型学習は、画像ドメインとビデオドメインの両方で有望である。 本稿では,ビデオ領域に着目した自己教師型学習における既存のアプローチについて概観する。
  論文  参考訳（メタデータ） (2022-06-18T00:26:52Z)
• A Survey on Deep Learning Technique for Video Segmentation [147.0767454918527]
  ビデオセグメンテーションは幅広い応用において重要な役割を果たしている。 ディープラーニングベースのアプローチは、ビデオセグメンテーションに特化しており、魅力的なパフォーマンスを提供している。
  論文  参考訳（メタデータ） (2021-07-02T15:51:07Z)
• Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions [75.77044856100349]
  我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。 AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
  論文  参考訳（メタデータ） (2021-05-10T16:30:46Z)
• VLEngagement: A Dataset of Scientific Video Lectures for Evaluating Population-based Engagement [23.078055803229912]
  ビデオ講義は、現在のデジタル時代の大衆に知識を与える主要なモダリティの1つとなっている。 科学ビデオ講義における学習者の関与を理解することを目的としたデータと研究は依然として重要なニーズである。 本稿では,VLEngagementについて紹介する。VLEngagementは,公開科学ビデオ講義から抽出したコンテンツベースおよびビデオ特有の特徴からなる,新しいデータセットである。
  論文  参考訳（メタデータ） (2020-11-02T14:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。