論文の概要: Rethinking the Potential of Multimodality in Collaborative Problem Solving Diagnosis with Large Language Models

• arxiv url: http://arxiv.org/abs/2504.15093v1
• Date: Mon, 21 Apr 2025 13:25:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 16:25:33.520795
• Title: Rethinking the Potential of Multimodality in Collaborative Problem Solving Diagnosis with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた協調的問題解決におけるマルチモーダリティの可能性の再考
• Authors: K. Wong, B. Wu, S. Bulathwela, M. Cukurova,
• Abstract要約: マルチモーダルデータと高度なモデルは、複雑なCPSの振る舞いを検出する可能性があると主張されている。 78人の中学生のCPSサブスキルと指標の診断におけるモデル性能向上のためのマルチモーダルデータの有用性について検討した。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Detecting collaborative and problem-solving behaviours from digital traces to interpret students' collaborative problem solving (CPS) competency is a long-term goal in the Artificial Intelligence in Education (AIEd) field. Although multimodal data and advanced models are argued to have the potential to detect complex CPS behaviours, empirical evidence on their value remains limited with some contrasting evidence. In this study, we investigated the potential of multimodal data to improve model performance in diagnosing 78 secondary school students' CPS subskills and indicators in authentic educational settings. In particular, text embeddings from verbal data and acoustic embeddings from audio data were used in a multimodal classification model for CPS diagnosis. Both unimodal and multimodal transformer-based models outperformed traditional models in detecting CPS classes. Although the inclusion of multimodality did not improve the performance of traditional unimodal models, its integration into transformer-based models demonstrated improved performance for diagnosing social-cognitive CPS classes compared to unimodal transformer-based models. Based on the results, the paper argues that multimodality and the selection of a particular modelling technique should not be taken for granted to achieve the best performance in the automated detection of every CPS subskill and indicator. Rather, their value is limited to certain types of CPS indicators, affected by the complexity of the labels, and dependent on the composition of indicators in the dataset. We conclude the paper by discussing the required nuance when considering the value of LLMs and multimodality in automated CPS diagnosis, highlighting the need for human-AI complementarity, and proposing the exploration of relevant model architectures and techniques to improve CPS diagnosis in authentic educational contexts.
• Abstract（参考訳）: デジタルトレースから協調的・問題解決行動を検出し、学生の協調的問題解決(CPS)能力を理解することは、AIEd(Artificial Intelligence in Education)分野における長期的な目標である。 マルチモーダルデータや先進モデルでは複雑なCPSの振る舞いを検出できる可能性が主張されているが、その価値に関する実証的な証拠は、いくつかの対照的な証拠に限られている。 本研究では,78人の中学生のCPSサブスキルの診断におけるモデル性能向上のためのマルチモーダルデータの有用性について検討した。 特に,CPS診断のためのマルチモーダル分類モデルにおいて,音声データからのテキスト埋め込みと音響埋め込みを用いた。 単モーダルモデルとマルチモーダルモデルの両方がCPSクラスの検出において従来のモデルよりも優れていた。 マルチモーダルを組み込むことは、従来の単モーダルモデルの性能を向上することはなかったが、トランスフォーマーモデルへの統合により、単モーダルトランスフォーマーモデルと比較して、社会的認知的CPSクラスを診断するための性能が改善された。 本研究は,CPSサブスキルとインジケータの自動検出において,最高の性能を達成するためには,マルチモーダリティと特定のモデリング手法の選択を当然とすべきではない,と論じる。 むしろ、その値は特定のタイプのCPSインジケータに限られており、ラベルの複雑さに影響され、データセット内のインジケータの構成に依存する。 本稿では,自動CPS診断におけるLCMの価値とマルチモーダル性を考慮する上で必要なニュアンスについて論じ,人間とAIの相補性の必要性を強調するとともに,CPS診断の真正性を高めるための関連するモデルアーキテクチャや技術を探究することを提案する。

関連論文リスト

• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Multi-omics data integration for early diagnosis of hepatocellular carcinoma (HCC) using machine learning [8.700808005009806]
  異なるモードのマルチクラスデータの遅延統合が可能なアンサンブル機械学習アルゴリズムの性能を比較した。 PB-MVBoostとAdaboostとソフト投票という2つの強化された方法が、全体的な最高のパフォーマンスモデルであった。
  論文  参考訳（メタデータ） (2024-09-20T09:38:02Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology [7.87900104748629]
  6つの異なるタスクをカバーする約45,000のケースのデータセットを慎重にコンパイルしました。 特にLLaVA, Qwen-VL, InternLMを微調整したマルチモーダル大規模モデルで, このデータセットを用いて命令ベースの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-13T17:05:06Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Self-supervised multimodal neuroimaging yields predictive representations for a spectrum of Alzheimer's phenotypes [27.331511924585023]
  この研究は、マルチモーダル・ニューロイメージングデータから複数の表現を学習するための、新しいマルチスケール協調フレームワークを提案する。 本稿では,情報誘導バイアスの一般的な分類法を提案する。 自己教師型モデルでは,事前トレーニング中にラベルにアクセスすることなく,障害関連脳領域とマルチモーダルリンクを明らかにする。
  論文  参考訳（メタデータ） (2022-09-07T01:37:19Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。