論文の概要: Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning
- arxiv url: http://arxiv.org/abs/2605.16806v1
- Date: Sat, 16 May 2026 04:22:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.094938
- Title: Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning
- Title(参考訳): ゲーム学習における学生協調満足度予測のためのマルチモーダル・ラーニング・アナリティクス
- Authors: Wen-Hsin Tsai, Chia-Ming Lee, Yuk-Ying Tung,
- Abstract要約: 教育展開において、目視などの個々のモダリティは、学生コホート間で一貫性のない情報性を示す。
Affinity-Aligned Multimodal Learning Analytics フレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.37216674402797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative game-based learning environments offer rich opportunities for small-group knowledge construction, yet automatically predicting student collaboration satisfaction remains challenging. A critical barrier is modality degradation: in educational deployments, individual modalities such as eye gaze exhibit inconsistent informativeness across student cohorts, causing implicit attention-based fusion to produce brittle multimodal representations. We propose the Affinity-Aligned Multimodal Learning Analytics (AAMLA) framework, whose core contribution is the Cross-modal Affinity-guided Modality Alignment (CAMA) module, which explicitly models inter-modal relationships via affinity matrices and enforces cross-modal consistency through contrastive learning, enabling adaptive suppression of uninformative modalities without discarding them. AAMLA further applies modality-specific projection layers to map heterogeneous features, including facial action units, head pose, eye gaze, and interaction trace logs, into a unified semantic space prior to alignment. Experiments on 50 middle school students in the EcoJourneys collaborative learning environment demonstrate consistent improvements over unimodal baselines and prior cross-attention approaches under standard and modality degradation conditions, with SHAP and t-SNE analyses confirming that CAMA produces robust, interpretable cross-modal representations for student collaboration modeling.
- Abstract(参考訳): 協調型ゲームベースの学習環境は、小規模グループの知識構築のための豊富な機会を提供するが、学生のコラボレーション満足度を自動的に予測することは依然として困難である。
教育的な展開において、目視のような個々のモダリティは、学生コホート間で一貫性のない情報性を示し、暗黙の注意に基づく融合を引き起こし、脆弱なマルチモーダル表現を生み出す。
本稿では,AAMLA(Affinity-Aligned Multimodal Learning Analytics)フレームワークを提案する。AAMLA(Affinity-Affinity-Guided Modality Alignment)モジュールは,アフィニティ行列を用いてモダリティー間の関係を明示的にモデル化し,対照的な学習を通じて相互整合性を強制し,非形式的モダリティーの適応的抑制を可能にする。
AAMLAはさらに、顔の動き単位、頭部ポーズ、視線、相互作用トレースログなどの異種特徴をアライメントの前に統一された意味空間にマッピングするために、モダリティ固有の投影層を適用している。
EcoJourneys共同学習環境における50人の中学生を対象とした実験は、標準およびモダリティ劣化条件下での単調なベースラインと事前のクロスアテンションアプローチよりも一貫した改善を示し、SHAPとt-SNE分析により、CAMAが学生協調モデリングのために頑健で解釈可能なクロスモーダル表現を生成することを確認した。
関連論文リスト
- Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning [15.567266973412815]
予測モデルを拡張し、埋め込み型アプローチを用いて、社会的に共有された学習行動の制御を自動的に検出する。
我々は,大規模言語モデル(LLM)を要約ツールとして活用し,システムログに整合した学生対話のタスク認識表現を生成する。
その結果, テキストのみの埋め込みは, 実行やグループダイナミクスに関連するSSRLの挙動の検出において, より強力な性能が得られることがわかった。
論文 参考訳(メタデータ) (2026-01-08T00:30:46Z) - Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。
ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
論文 参考訳(メタデータ) (2025-12-03T12:43:16Z) - Asymmetric Cross-Modal Knowledge Distillation: Bridging Modalities with Weak Semantic Consistency [16.550957851406014]
クロスモーダルな知識蒸留は、強いセマンティック接続を持つペアのモダリティに対して有望な性能を示した。
非対称なクロスモーダル知識蒸留(ACKD)と呼ばれる,意味整合性の弱い知識学習概念について検討する。
本稿では,SemBridgeというフレームワークを提案し,学生フレンドリーマッチングモジュールとセマンティック知識調整モジュールを統合する。
論文 参考訳(メタデータ) (2025-11-12T02:24:24Z) - Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning [7.412307614007383]
マルチモーダル学習モデルは、共有表現空間を学習することにより、画像やテキストなどの様々なモダリティをブリッジするように設計されている。
これらのモデルはしばしばモダリティギャップを示し、異なるモダリティが共有表現空間内の異なる領域を占める。
トレーニング中にモダリティギャップを生じ、持続させる上で、不整合データペアと学習可能な温度パラメータの臨界的役割を同定する。
論文 参考訳(メタデータ) (2024-12-10T20:36:49Z) - From Complexity to Parsimony: Integrating Latent Class Analysis to Uncover Multimodal Learning Patterns in Collaborative Learning [0.0]
本研究では,Multimodal Learning Analytics(MMLA)に潜在クラス分析(LCA)を統合する新しい手法を提案する。
LCAは、協調コミュニケーション(Collaborative Communication)、身体的コラボレーション(Embodied Collaboration)、遠隔インタラクション(Distant Interaction)、孤独エンゲージメント(Solitary Engagement)の4つの異なるクラスを特定した。
疫学ネットワーク分析は、これらのマルチモーダル指標を元のモノモーダル指標と比較し、マルチモーダルアプローチがより相似であることを発見した。
論文 参考訳(メタデータ) (2024-11-23T15:36:35Z) - Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。
マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
論文 参考訳(メタデータ) (2024-10-12T06:21:58Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal
Sentiment Analysis [18.4364234071951]
我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。
具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。
提案手法は既存の作業より優れている。
論文 参考訳(メタデータ) (2021-09-04T06:04:21Z) - Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。
ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
論文 参考訳(メタデータ) (2021-05-28T14:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。