論文の概要: Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review

• arxiv url: http://arxiv.org/abs/2408.14491v1
• Date: Thu, 22 Aug 2024 22:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 18:11:54.236764
• Title: Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review
• Title（参考訳）: 学習・学習環境分析のためのマルチモーダル手法:体系的文献レビュー
• Authors: Clayton Cohn, Eduardo Davalos, Caleb Vatral, Joyce Horn Fonteles, Hanchen David Wang, Meiyi Ma, Gautam Biswas,
• Abstract要約: 本稿では,近年の方法論的進歩を包括する分類学と枠組みを提案する。 我々は,新たなデータ融合カテゴリであるMid fusionを導入し,文献レビューを精査するグラフベースの手法を引用グラフプルーニングと呼ぶ。 マルチモーダル学習とトレーニング研究と基礎的AI研究のギャップを埋めるために、さらなる研究が必要である。
• 参考スコア（独自算出の注目度）: 3.0712840129998513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent technological advancements have enhanced our ability to collect and analyze rich multimodal data (e.g., speech, video, and eye gaze) to better inform learning and training experiences. While previous reviews have focused on parts of the multimodal pipeline (e.g., conceptual models and data fusion), a comprehensive literature review on the methods informing multimodal learning and training environments has not been conducted. This literature review provides an in-depth analysis of research methods in these environments, proposing a taxonomy and framework that encapsulates recent methodological advances in this field and characterizes the multimodal domain in terms of five modality groups: Natural Language, Video, Sensors, Human-Centered, and Environment Logs. We introduce a novel data fusion category -- mid fusion -- and a graph-based technique for refining literature reviews, termed citation graph pruning. Our analysis reveals that leveraging multiple modalities offers a more holistic understanding of the behaviors and outcomes of learners and trainees. Even when multimodality does not enhance predictive accuracy, it often uncovers patterns that contextualize and elucidate unimodal data, revealing subtleties that a single modality may miss. However, there remains a need for further research to bridge the divide between multimodal learning and training studies and foundational AI research.
• Abstract（参考訳）: 最近の技術進歩により、学習やトレーニング経験をよりよく知るために、豊富なマルチモーダルデータ(音声、ビデオ、視線など)を収集、分析する能力が強化された。 これまでのレビューでは、マルチモーダルパイプラインの一部(概念モデルやデータ融合など)に焦点が当てられていたが、マルチモーダル学習や学習環境を規定する手法に関する包括的な文献レビューは行われていない。 本稿では,これらの環境における研究手法を詳細に分析し,この分野における最近の方法論的進歩を包括する分類と枠組みを提案し,自然言語,ビデオ,センサ,人間中心,環境ログという5つのモダリティ群の観点からマルチモーダル領域を特徴付ける。 我々は,新たなデータ融合カテゴリであるMid fusionを導入し,文献レビューを精査するグラフベースの手法を引用グラフプルーニングと呼ぶ。 分析の結果,複数のモダリティを活用することで,学習者と学習者の行動や成果をより包括的に理解することができることがわかった。 マルチモーダリティは予測精度を向上しないが、文脈化と非モーダルデータの解明を行うパターンをしばしば発見し、単一のモーダリティが見逃す可能性のある微妙さを明らかにしている。 しかし、マルチモーダル学習とトレーニング研究と基礎的AI研究のギャップを埋めるためには、さらなる研究が必要である。

関連論文リスト

• Multimodal Alignment and Fusion: A Survey [7.250878248686215]
  マルチモーダル統合により、モデルの精度と適用性が改善される。 我々は既存のアライメントと融合の手法を体系的に分類し分析する。 この調査は、ソーシャルメディア分析、医療画像、感情認識といった分野の応用に焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-26T02:10:27Z)
• A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications [0.7831774233149619]
  本研究は,生物医学的応用における現在の中間核融合法の解析と形式化を目的としている。 バイオメディカルドメインを超えて,これらの手法の理解と応用を高めるための構造的表記法を導入する。 我々の発見は、より高度で洞察に富んだマルチモーダルモデルの開発において、研究者、医療専門家、そしてより広範なディープラーニングコミュニティを支援することを目的としています。
  論文  参考訳（メタデータ） (2024-08-02T11:48:04Z)
• Ontology Embedding: A Survey of Methods, Applications and Resources [54.3453925775069]
  オントロジはドメイン知識とメタデータを表現するために広く使われている。 1つの簡単な解決策は、統計分析と機械学習を統合することである。 埋め込みに関する多くの論文が出版されているが、体系的なレビューの欠如により、研究者はこの分野の包括的な理解を妨げている。
  論文  参考訳（メタデータ） (2024-06-16T14:49:19Z)
• Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
  この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。 大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。 研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
  論文  参考訳（メタデータ） (2024-01-30T03:51:44Z)
• Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications [47.501121601856795]
  マルチモダリティ表現学習は、異なるモダリティとそれらの相関から情報を埋め込む学習手法である。 異なるモダリティからのクロスモーダル相互作用と補完情報は、高度なモデルが任意のマルチモーダルタスクを実行するために不可欠である。 本調査では,深層学習型マルチモーダルアーキテクチャの進化と拡張に関する文献を報告する。
  論文  参考訳（メタデータ） (2023-02-01T11:48:34Z)
• Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
  様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。 我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。 本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
  論文  参考訳（メタデータ） (2022-10-05T13:14:57Z)
• Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions [68.6358773622615]
  本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。 本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。 最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
  論文  参考訳（メタデータ） (2022-09-07T19:21:19Z)
• Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
  マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。 近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。 ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
  論文  参考訳（メタデータ） (2021-12-27T10:00:16Z)
• Multimodality in Meta-Learning: A Comprehensive Survey [34.69292359136745]
  このサーベイは、マルチモーダリティに基づくメタラーニングの展望を概観する。 我々はまず,メタラーニングとマルチモーダリティの定義と,この成長分野における研究課題を定式化する。 そこで我々は,マルチモーダルタスクと組み合わせた典型的なメタ学習アルゴリズムを体系的に議論する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2021-09-28T09:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。