論文の概要: Multi-Modal Machine Learning for Early Trust Prediction in Human-AI Interaction Using Face Image and GSR Bio Signals

• arxiv url: http://arxiv.org/abs/2511.21908v1
• Date: Wed, 26 Nov 2025 20:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.295812
• Title: Multi-Modal Machine Learning for Early Trust Prediction in Human-AI Interaction Using Face Image and GSR Bio Signals
• Title（参考訳）: 顔画像とGSR生体信号を用いたAIインタラクションにおける早期信頼予測のためのマルチモーダル機械学習
• Authors: Hamid Shamszare, Avishek Choudhury,
• Abstract要約: 本研究では,画像とガルバニック皮膚反応(GSR)データを組み合わせたマルチモーダル機械学習フレームワークを提案する。 その結果,顔と生理的手がかりを組み合わせることで予測性能が有意に向上した。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting human trust in AI systems is crucial for safe integration of AI-based decision support tools, especially in healthcare. This study proposes a multi-modal machine learning framework that combines image and galvanic skin response (GSR) data to predict early user trust in AI- or human-generated recommendations in a simulated ADHD mHealth context. Facial video data were processed using OpenCV for frame extraction and transferred learning with a pre-trained transformer model to derive emotional features. Concurrently, GSR signals were decomposed into tonic and phasic components to capture physiological arousal patterns. Two temporal windows were defined for trust prediction: the Early Detection Window (6 to 3 seconds before decision-making) and the Proximal Detection Window (3 to 0 seconds before decision-making). For each window, trust prediction was conducted separately using image-based, GSR-based, and multimodal (image + GSR) features. Each modality was analyzed using machine learning algorithms, and the top-performing unimodal models were integrated through a multimodal stacking ensemble for final prediction. Experimental results showed that combining facial and physiological cues significantly improved prediction performance. The multimodal stacking framework achieved an accuracy of 0.83, F1-score of 0.88, and ROC-AUC of 0.87 in the Early Detection Window, and an accuracy of 0.75, F1-score of 0.82, and ROC-AUC of 0.66 in the Proximal Detection Window. These results demonstrate the potential of bio signals as real-time, objective markers of user trust, enabling adaptive AI systems that dynamically adjust their responses to maintain calibrated trust which is a critical capability in mental health applications where mis-calibrated trust can affect diagnostic and treatment outcomes.
• Abstract（参考訳）: AIシステムに対する人間の信頼の予測は、AIベースの意思決定支援ツール、特にヘルスケアの安全な統合に不可欠である。 本研究では,画像とガルバニック皮膚反応(GSR)データを組み合わせたマルチモーダル機械学習フレームワークを提案する。 フレーム抽出のためにOpenCVを用いて顔映像データを処理し,事前学習したトランスフォーマーモデルを用いて感情的特徴を抽出した。 同時に、GSR信号は、生理的覚醒パターンを捉えるために、トニック成分とファシック成分に分解された。 信頼予測には、早期検出ウィンドウ(6～3秒前)と最適検出ウィンドウ(3～0秒前)の2つの時間ウィンドウが定義された。 各ウィンドウに対して、画像ベース、GSRベース、マルチモーダル(画像+GSR)機能を用いて、信頼予測を別々に実施した。 それぞれのモダリティを機械学習アルゴリズムを用いて解析し、最終予測のためにマルチモーダル累積アンサンブルを通じて最高性能のユニモーダルモデルを統合した。 実験の結果,顔と生理的手がかりを組み合わせることで予測性能が有意に向上した。 マルチモーダル・スタックリング・フレームワークは早期検出ウィンドウで0.83、F1スコアで0.88、ROC-AUCで0.87、近検出ウィンドウで0.75、F1スコアで0.82、ROC-AUCで0.66の精度を達成した。 これらの結果は、生体信号がリアルタイムで客観的なユーザ信頼マーカーとしての可能性を示し、適応型AIシステムが、診断や治療に影響を及ぼす可能性があるメンタルヘルスアプリケーションにおいて重要な機能である調整信頼を維持するために、応答を動的に調整することを可能にする。

関連論文リスト

• Transparent Early ICU Mortality Prediction with Clinical Transformer and Per-Case Modality Attribution [42.85462513661566]
  ICU滞在後48時間から, 生理的時系列測定と非構造的臨床記録とを融合した, 軽量で透明なマルチモーダルアンサンブルを提案する。 ロジスティック回帰モデルは、バイタル用双方向LSTMとノート用微調整された臨床ModernBERT変換器の2つのモード固有モデルからの予測を組み合わせる。 MIMIC-IIIベンチマークでは、遅延融合アンサンブルは、よく校正された予測を維持しながら、最高の単一モデルに対する差別を改善する。
  論文  参考訳（メタデータ） (2025-11-19T20:11:49Z)
• ActiTect: A Generalizable Machine Learning Pipeline for REM Sleep Behavior Disorder Screening through Standardized Actigraphy [1.2106870940376342]
  分離眼球運動睡眠行動障害(iRBD)は、$$-synucleinopathiesの主因である。 手首のアクティメータは、大規模なスクリーニングにおいてRBDを検出する大きな可能性を秘めている。 本研究では,アクティグラフ記録からRBDを同定するオープンソース機械学習ツールであるActiTectを提案する。
  論文  参考訳（メタデータ） (2025-11-07T13:18:20Z)
• A Hybrid Deep Learning and Forensic Approach for Robust Deepfake Detection [0.0]
  既存のディープフェイク検出手法は、一般化や歪みに対する脆弱性の低いディープラーニングや、解釈可能なが新しい操作技術に制限される法医学的な分析に頼っている。 本研究では,雑音残差,JPEG圧縮トレース,周波数領域記述子などの法医学的特徴を融合したハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-31T11:32:52Z)
• Predicting Diabetic Retinopathy Using a Two-Level Ensemble Model [0.6445605125467574]
  糖尿病網膜症は、高齢者の視覚障害の主要な原因である。 画像ベースのAIツールは、早期検出の限界を示している。 実験結果を用いたDR予測のための非画像ベース2レベルアンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2025-10-01T16:19:57Z)
• Automatic Cough Analysis for Non-Small Cell Lung Cancer Detection [33.37223681850477]
  非小細胞肺癌(NSCLC)の早期発見は患者の予後改善に重要である。 本研究では,NSCLC患者と健常者との鑑別のためのスクリーニングツールとして,自動コークス分析の利用について検討する。 記録は、サポートベクタマシン(SVM)やXGBoostといった機械学習技術を用いて分析された。
  論文  参考訳（メタデータ） (2025-07-25T11:30:22Z)
• Implementing Trust in Non-Small Cell Lung Cancer Diagnosis with a Conformalized Uncertainty-Aware AI Framework in Whole-Slide Images [37.3701890138561]
  TRUECAMは、非小細胞肺癌におけるデータとモデル信頼性の両方を保証するために設計されたフレームワークである。 TRUECAMでラップされたAIモデルは、分類精度、堅牢性、解釈可能性、データ効率の点で、そのようなガイダンスが欠けているモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-12-28T02:22:47Z)
• MANGO: Multimodal Acuity traNsformer for intelliGent ICU Outcomes [11.385654412265461]
  Intelligent ICU 結果に対する Multimodal Acuity traNsformer を提案する。 患者の容積状態、遷移、生命維持療法の必要性の予測を強化するように設計されている。
  論文  参考訳（メタデータ） (2024-12-13T23:51:15Z)
• Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。 iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-10T19:17:23Z)
• A Progressive Risk Formulation for Enhanced Deep Learning based Total Knee Replacement Prediction in Knee Osteoarthritis [36.12790384412525]
  変形性膝関節症におけるTKR(Total Knee Replacement)の必要性を予測するための深層学習モデルを開発した。 モデルは、単一のスキャンを使用してTKR予測を実行し、さらに、以前のスキャンが利用可能になった場合、プログレッシブなリスク定式化を活用して予測を改善する。 変形性膝関節症(OAI)と多施設関節症研究(MOST)の膝X線写真とMRIを用いた。
  論文  参考訳（メタデータ） (2024-06-14T15:24:49Z)
• Comprehensive Multimodal Deep Learning Survival Prediction Enabled by a Transformer Architecture: A Multicenter Study in Glioblastoma [4.578027879885667]
  本研究は,変圧器を用いた深層学習モデルにMR画像,臨床および分子病理学的データを統合することにより,グリオーマの生存率予測を改善することを目的とする。 このモデルは、自己教師付き学習技術を用いて、高次元MRI入力を効果的に符号化し、クロスアテンションを用いた非画像データと統合する。
  論文  参考訳（メタデータ） (2024-05-21T17:44:48Z)
• SQUWA: Signal Quality Aware DNN Architecture for Enhanced Accuracy in Atrial Fibrillation Detection from Noisy PPG Signals [37.788535094404644]
  心房細動(AF)は脳卒中、心臓病、死亡のリスクを著しく増大させる。 光胸腺造影(PPG)信号は、運動人工物や、しばしば起立条件で遭遇する他の要因による腐敗に影響を受けやすい。 本研究では,一部劣化したPSGから正確な予測の維持方法を学習するための新しい深層学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-15T01:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。