論文の概要: Explainable Collaborative Problem Solving Diagnosis with BERT using SHAP and its Implications for Teacher Adoption

• arxiv url: http://arxiv.org/abs/2507.14584v1
• Date: Sat, 19 Jul 2025 11:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.952188
• Title: Explainable Collaborative Problem Solving Diagnosis with BERT using SHAP and its Implications for Teacher Adoption
• Title（参考訳）: SHAPを用いたBERTによる説明可能な協調的問題解決と教員採用への意義
• Authors: Kester Wong, Sahan Bulathwela, Mutlu Cukurova,
• Abstract要約: 本研究では、転写データ中の異なるトークン化単語が、BERTモデルのCPSプロセスの分類にどのように寄与するかを検討する。 その結果, 良好な分類は, 分類決定の合理的な説明と一致しなかったことが示唆された。 分析では、分類に肯定的に寄与する刺激的な単語も同定したが、クラスには意味論的には意味がなかった。
• 参考スコア（独自算出の注目度）: 5.1126582076480505
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The use of Bidirectional Encoder Representations from Transformers (BERT) model and its variants for classifying collaborative problem solving (CPS) has been extensively explored within the AI in Education community. However, limited attention has been given to understanding how individual tokenised words in the dataset contribute to the model's classification decisions. Enhancing the explainability of BERT-based CPS diagnostics is essential to better inform end users such as teachers, thereby fostering greater trust and facilitating wider adoption in education. This study undertook a preliminary step towards model transparency and explainability by using SHapley Additive exPlanations (SHAP) to examine how different tokenised words in transcription data contributed to a BERT model's classification of CPS processes. The findings suggested that well-performing classifications did not necessarily equate to a reasonable explanation for the classification decisions. Particular tokenised words were used frequently to affect classifications. The analysis also identified a spurious word, which contributed positively to the classification but was not semantically meaningful to the class. While such model transparency is unlikely to be useful to an end user to improve their practice, it can help them not to overrely on LLM diagnostics and ignore their human expertise. We conclude the workshop paper by noting that the extent to which the model appropriately uses the tokens for its classification is associated with the number of classes involved. It calls for an investigation into the exploration of ensemble model architectures and the involvement of human-AI complementarity for CPS diagnosis, since considerable human reasoning is still required for fine-grained discrimination of CPS subskills.
• Abstract（参考訳）: 双方向トランスフォーマー表現(BERT)モデルとその変種を用いた協調問題解決(CPS)の分類は、AI in Educationコミュニティで広く研究されている。 しかし、データセット内の個々のトークン化された単語がモデルの分類決定にどのように貢献するかを理解するには、限定的な注意が払われている。 BERTベースのCPS診断の信頼性を高めることは、教師のようなエンドユーザにより良い情報を提供するために不可欠である。 本研究は、SHAP(SHapley Additive ExPlanations)を用いて、転写データ中の異なるトークン化された単語が、BERTモデルのCPSプロセスの分類にどのように貢献するかを調べることで、モデルの透明性と説明可能性への予備的な一歩を踏み出した。 この結果から,良質な分類が必ずしも分類決定の合理的な説明に一致するとは限らないことが示唆された。 特にトークン化された単語は、分類に影響を与えるために頻繁に使用された。 分析では、分類に肯定的に寄与する刺激的な単語も同定したが、クラスには意味論的には意味がなかった。 このようなモデルの透明性は、エンドユーザーが実践を改善するのに役に立たないが、LCMの診断を過度に行い、人間の専門知識を無視するのに役立つ。 ワークショップ論文は、モデルがその分類にトークンを適切に使用する範囲が、関連するクラスの数に関連していることを指摘して締めくくった。 アンサンブルモデルアーキテクチャの探索とCPS診断のための人間とAIの相補性の関与に関する調査が求められている。

関連論文リスト

• Exploring Human-AI Complementarity in CPS Diagnosis Using Unimodal and Multimodal BERT Models [5.1126582076480505]
  本稿では、AudiBERTモデルがデータセットに疎結合なクラスの分類を改善したことを強調して、過去の研究を拡張した。 BERTモデルに対する同様の有意なクラスワイド改善は、感情次元の分類では見られなかった。 相関分析の結果,AudiBERTモデルとBERTモデルの両方において,より大きなトレーニングデータが高いリコール性能に大きく関連していることがわかった。
  論文  参考訳（メタデータ） (2025-07-19T11:47:08Z)
• Rethinking the Potential of Multimodality in Collaborative Problem Solving Diagnosis with Large Language Models [0.562479170374811]
  マルチモーダルデータと高度なモデルは、複雑なCPSの振る舞いを検出する可能性があると主張されている。 78人の中学生のCPSサブスキルと指標の診断におけるモデル性能向上のためのマルチモーダルデータの有用性について検討した。
  論文  参考訳（メタデータ） (2025-04-21T13:25:55Z)
• Probing Network Decisions: Capturing Uncertainties and Unveiling Vulnerabilities Without Label Information [19.50321703079894]
  本稿では, 対実例を用いて分類器の弱点を明らかにするための新しい枠組みを提案する。 本研究では, 画像分類ベンチマークを用いて, 誤分類検出の性能を検証し, その妥当性を検証した。
  論文  参考訳（メタデータ） (2025-03-12T05:05:58Z)
• SIC: Similarity-Based Interpretable Image Classification with Neural Networks [3.0248879829045388]
  SICは、意思決定プロセスのローカルおよびグローバルな説明を提供するニューラルネットワークである。 SICは,Stanford DogsとFunnyBirdsのきめ細かい分類,Pascal VOCの多ラベル分類,RSNAデータセットの病理診断の3つのタスクで評価した。
  論文  参考訳（メタデータ） (2025-01-28T22:39:03Z)
• Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition [0.13194391758295113]
  本研究は,Shapley Additive Explanations (SHAP) と Gradient-weighted Class Activation Mapping (Grad-CAM) を比較した。 本研究では,これらの手法を定量的かつ定量的に比較し,摂動実験による特徴重要度ランキング,解釈可能性,モデル感度に着目した。 我々の研究は、SHAPとGrad-CAMが相互に補完し、より解釈可能で実行可能なモデル説明を提供する方法を示している。
  論文  参考訳（メタデータ） (2024-12-20T15:53:25Z)
• Adversarial Vessel-Unveiling Semi-Supervised Segmentation for Retinopathy of Prematurity Diagnosis [9.683492465191241]
  広範囲な手動血管アノテーションを必要とせず,ROP研究を進めるための半教師付きセグメンテーションフレームワークを提案する。 ラベル付きデータにのみ依存する従来の手法とは異なり,本手法では不確実性重み付き容器公開モジュールとドメイン対向学習を統合している。 我々は、パブリックデータセットと社内ROPデータセットに対するアプローチを検証し、複数の評価指標で優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-14T02:40:34Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• PCA: Semi-supervised Segmentation with Patch Confidence Adversarial Training [52.895952593202054]
  医用画像セグメンテーションのためのPatch Confidence Adrial Training (PCA) と呼ばれる半教師付き対向法を提案する。 PCAは各パッチの画素構造とコンテキスト情報を学習し、十分な勾配フィードバックを得る。 本手法は, 医用画像のセグメンテーションにおいて, 最先端の半教師付き手法より優れており, その有効性を示している。
  論文  参考訳（メタデータ） (2022-07-24T07:45:47Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• The Overlooked Classifier in Human-Object Interaction Recognition [82.20671129356037]
  クラス間の意味的相関を分類ヘッドにエンコードし,重みをHOIの言語埋め込みで初期化する。 我々は,LSE-Sign という新しい損失を,長い尾を持つデータセット上でのマルチラベル学習を強化するために提案する。 我々は,物体検出と人間のポーズを明確なマージンで求める最先端技術よりも優れた,検出不要なHOI分類を可能にする。
  論文  参考訳（メタデータ） (2022-03-10T23:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。