論文の概要: The Trust in AI-Generated Health Advice (TAIGHA) Scale and Short Version (TAIGHA-S): Development and Validation Study
- arxiv url: http://arxiv.org/abs/2512.14278v1
- Date: Tue, 16 Dec 2025 10:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.688362
- Title: The Trust in AI-Generated Health Advice (TAIGHA) Scale and Short Version (TAIGHA-S): Development and Validation Study
- Title(参考訳): AI-Generated Health Advice (TAIGHA) Scale and Short Version (TAIGHA-S):開発・検証研究
- Authors: Marvin Kopka, Azeem Majeed, Gabriella Spinelli, Austen El-Osta, Markus Feufel,
- Abstract要約: 本研究は,AI生成型ヘルスアドバイザ(TAIGHA)尺度とその4項目短縮形(TAIGHA-S)の開発と検証を行った。
項目は生成AIアプローチを使用して開発され、続いて10のドメインエキスパートによるコンテンツ検証、30人のレイ参加者による顔検証、および症状評価シナリオでAI生成アドバイスを受けた385人の英国参加者による心理測定検証が実施された。
- 参考スコア(独自算出の注目度): 1.0112913394578702
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial Intelligence tools such as large language models are increasingly used by the public to obtain health information and guidance. In health-related contexts, following or rejecting AI-generated advice can have direct clinical implications. Existing instruments like the Trust in Automated Systems Survey assess trustworthiness of generic technology, and no validated instrument measures users' trust in AI-generated health advice specifically. This study developed and validated the Trust in AI-Generated Health Advice (TAIGHA) scale and its four-item short form (TAIGHA-S) as theory-based instruments measuring trust and distrust, each with cognitive and affective components. The items were developed using a generative AI approach, followed by content validation with 10 domain experts, face validation with 30 lay participants, and psychometric validation with 385 UK participants who received AI-generated advice in a symptom-assessment scenario. After automated item reduction, 28 items were retained and reduced to 10 based on expert ratings. TAIGHA showed excellent content validity (S-CVI/Ave=0.99) and CFA confirmed a two-factor model with excellent fit (CFI=0.98, TLI=0.98, RMSEA=0.07, SRMR=0.03). Internal consistency was high (α=0.95). Convergent validity was supported by correlations with the Trust in Automated Systems Survey (r=0.67/-0.66) and users' reliance on the AI's advice (r=0.37 for trust), while divergent validity was supported by low correlations with reading flow and mental load (all |r|<0.25). TAIGHA-S correlated highly with the full scale (r=0.96) and showed good reliability (α=0.88). TAIGHA and TAIGHA-S are validated instruments for assessing user trust and distrust in AI-generated health advice. Reporting trust and distrust separately permits a more complete evaluation of AI interventions, and the short scale is well-suited for time-constrained settings.
- Abstract(参考訳): 大規模言語モデルのような人工知能ツールは、公衆が健康情報やガイダンスを得るためにますます利用されている。
健康関連の文脈では、AIが生成するアドバイスに従うか拒否するかは、直接的な臨床的意味を持つ。
既存のTrust in Automated Systems Surveyのような機器は、ジェネリックテクノロジーの信頼性を評価し、AI生成した健康アドバイスに対するユーザの信頼を計測する検証済みの機器は存在しない。
本研究は、信頼と不信を測定する理論に基づく尺度として、AI生成健康アドバイス尺度(Trust in AI-Generated Health Advice, TAIGHA-S)と、その4項目の短い形態(TAIGHA-S)を開発し、検証した。
これらの項目は、生成的AIアプローチを使用して開発され、続いて10のドメイン専門家によるコンテンツ検証、30人のレイ参加者による顔検証、および症状評価シナリオでAI生成アドバイスを受けた385人の英国参加者による心理測定検証が行われた。
自動アイテムリダクションの後、28項目が保持され、専門家のレーティングに基づいて10項目に削減された。
TAIGHAは優れた内容妥当性(S-CVI/Ave=0.99)を示し、CFAは優れた適合性を持つ2要素モデル(CFI=0.98、TLI=0.98、RMSEA=0.07、SRMR=0.03)を確認した。
内部の一貫性は高い(α=0.95)。
収束妥当性は、自動システム調査のTrust in Automated Systems Survey (r=0.67/-0.66)との相関と、AIのアドバイスへの依存(r=0.37 for Trust)によって支持された。
TAIGHA-Sはフルスケール(r=0.96)と高い相関を示し、信頼性(α=0.88)を示した。
TAIGHAとTAIGHA-Sは、AIによる健康アドバイスにおけるユーザの信頼と不信を評価するための検証された手段である。
信頼と不信を報告することで、AI介入のより完全な評価が可能になる。
関連論文リスト
- Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。
本ベンチマークでは,3種類の医療データを統合し,診断を行う。
本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
論文 参考訳(メタデータ) (2026-01-22T04:51:39Z) - Human and AI Trust: Trust Attitude Measurement Instrument [0.0]
本稿では,信頼度測定器の開発と検証について述べる。
この装置は、AIシステムに対する信頼姿勢を測定するために、人間とAIのインタラクションを研究するために明確に作られた。
私たちがこのスケールを開発するために用いたユースケースは、AI医療支援システムの文脈にあった。
論文 参考訳(メタデータ) (2025-10-24T15:01:06Z) - Dynamic Trust Calibration Using Contextual Bandits [1.8563342761346613]
過剰な信頼は、AIが生成したアウトプットを疑わしいことなく受け入れることを可能にする。
不十分な信頼は、AIシステムから価値のある洞察を無視してしまう可能性がある。
現在、人間とAIの信頼度を測る決定的かつ客観的な方法は存在しない。
論文 参考訳(メタデータ) (2025-09-27T21:06:17Z) - Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。
LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。
敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。
私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
論文 参考訳(メタデータ) (2025-07-30T08:44:22Z) - Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy [29.14930590607661]
大型言語モデル (LLM) は幻覚と呼ばれる誤りや誤解を招く出力を生成する。
難易度などの不確実性を定量化する伝統的な手法は、誤報につながる意味レベルの不整合を捉えることに失敗する。
我々は,新たな不確実性指標であるセマンティックエントロピー(SE)を評価し,AI生成医療内容の幻覚を検出する。
論文 参考訳(メタデータ) (2025-03-01T00:57:52Z) - Which Client is Reliable?: A Reliable and Personalized Prompt-based Federated Learning for Medical Image Question Answering [51.26412822853409]
本稿では,医学的視覚的質問応答(VQA)モデルのための,パーソナライズド・フェデレーションド・ラーニング(pFL)手法を提案する。
提案手法では,学習可能なプロンプトをTransformerアーキテクチャに導入し,膨大な計算コストを伴わずに,多様な医療データセット上で効率的にトレーニングする。
論文 参考訳(メタデータ) (2024-10-23T00:31:17Z) - Simulated patient systems are intelligent when powered by large language model-based AI agents [32.73072809937573]
我々は,大規模言語モデルに基づくAIエージェントを用いた,インテリジェントシミュレートされた患者システムAIatientを開発した。
このシステムにはRetrieval Augmented Generationフレームワークが組み込まれており、複雑な推論のために6つのタスク固有のLLMベースのAIエージェントが使用されている。
シミュレーションの現実のために、このシステムはAIPatient KG (Knowledge Graph) も利用している。
論文 参考訳(メタデータ) (2024-09-27T17:17:15Z) - Bridging AI and Clinical Practice: Integrating Automated Sleep Scoring
Algorithm with Uncertainty-Guided Physician Review [0.0]
本研究は,不確実性推定手法を取り入れた自動睡眠検査アルゴリズムの臨床的有用性を高めることを目的とする。
13のオープンアクセスデータベースからの合計19578のPSGを使用して、最先端の睡眠スコアアルゴリズムであるU-Sleepをトレーニングした。
論文 参考訳(メタデータ) (2023-12-22T15:58:09Z) - FUTURE-AI: International consensus guideline for trustworthy and deployable artificial intelligence in healthcare [73.78776682247187]
医療AIに関連する技術的、臨床的、倫理的、法的リスクに関する懸念が高まっている。
この研究は、Future-AIガイドラインを、医療における信頼できるAIツールの開発とデプロイを導くための最初の国際コンセンサスフレームワークとして説明している。
論文 参考訳(メタデータ) (2023-08-11T10:49:05Z) - Private, fair and accurate: Training large-scale, privacy-preserving AI models in medical imaging [47.99192239793597]
我々は,AIモデルのプライバシ保護トレーニングが,非プライベートトレーニングと比較して精度と公平性に与える影響を評価した。
我々の研究は、実際の臨床データセットの困難な現実的な状況下では、診断深層学習モデルのプライバシー保護トレーニングは、優れた診断精度と公正さで可能であることを示しています。
論文 参考訳(メタデータ) (2023-02-03T09:49:13Z) - Advancing COVID-19 Diagnosis with Privacy-Preserving Collaboration in
Artificial Intelligence [79.038671794961]
我々はUCADI(Unified CT-COVID AI Diagnostic Initiative)を立ち上げ、各ホスト機関でAIモデルを分散的にトレーニングし、独立して実行することができる。
本研究は,中国とイギリスに所在する23の病院で採取した3,336例の胸部CT9,573例について検討した。
論文 参考訳(メタデータ) (2021-11-18T00:43:41Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。