論文の概要: DiversityMedQA: Assessing Demographic Biases in Medical Diagnosis using Large Language Models
- arxiv url: http://arxiv.org/abs/2409.01497v1
- Date: Mon, 2 Sep 2024 23:37:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 03:35:27.505507
- Title: DiversityMedQA: Assessing Demographic Biases in Medical Diagnosis using Large Language Models
- Title（参考訳）: DiversityMedQA:大規模言語モデルを用いた医学診断におけるデモグラフィックバイアスの評価
- Authors: Rajat Rawat, Hudson McBride, Dhiyaan Nirmal, Rajarshi Ghosh, Jong Moon, Dhruv Alamuri, Sean O'Brien, Kevin Zhu,
- Abstract要約: DiversityMedQAは,多彩な患者集団にわたる医療クエリに対する大規模言語モデル(LLM)応答を評価するために設計された,新しいベンチマークである。
以上の結果から,これらの変動に比較して,モデル性能に顕著な差が認められた。
- 参考スコア（独自算出の注目度）: 2.750784330885499
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) gain traction in healthcare, concerns about their susceptibility to demographic biases are growing. We introduce {DiversityMedQA}, a novel benchmark designed to assess LLM responses to medical queries across diverse patient demographics, such as gender and ethnicity. By perturbing questions from the MedQA dataset, which comprises medical board exam questions, we created a benchmark that captures the nuanced differences in medical diagnosis across varying patient profiles. Our findings reveal notable discrepancies in model performance when tested against these demographic variations. Furthermore, to ensure the perturbations were accurate, we also propose a filtering strategy that validates each perturbation. By releasing DiversityMedQA, we provide a resource for evaluating and mitigating demographic bias in LLM medical diagnoses.
- Abstract（参考訳）: 大規模言語モデル(LLM)がヘルスケアで勢いを増すにつれ、人口統計バイアスへの感受性への懸念が高まっている。
性別や民族など多種多様な患者層を対象とした医療クエリに対するLCM応答を評価するための新しいベンチマークである {DiversityMedQA} を紹介する。
医療委員会試験の質問を含むMedQAデータセットからの質問を摂動することで、さまざまな患者プロファイルの医療診断の微妙な違いを捉えたベンチマークを作成しました。
以上の結果から,これらの変動に比較して,モデル性能に顕著な差が認められた。
さらに,摂動の正確性を確保するため,各摂動を検証するフィルタ戦略を提案する。
本研究では, LLM 医学診断における人口統計バイアスの評価と緩和のための資源として, DiversityMedQA をリリースする。
関連論文リスト
- A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。
本稿では,MVLMの概要と適用した各種医療課題について概観する。
また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
論文 参考訳（メタデータ） (2024-11-19T03:27:05Z) - How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making? [2.7476176772825904]
本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。
本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。
このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
論文 参考訳（メタデータ） (2024-10-21T23:14:10Z) - FedMedICL: Towards Holistic Evaluation of Distribution Shifts in Federated Medical Imaging [68.6715007665896]
FedMedICLは統合されたフレームワークであり、フェデレートされた医療画像の課題を全体評価するためのベンチマークである。
6種類の医用画像データセットについて,いくつかの一般的な手法を総合的に評価した。
単純なバッチ分散手法はFedMedICL実験全体の平均性能において,高度な手法を超越していることがわかった。
論文 参考訳（メタデータ） (2024-07-11T19:12:23Z) - A Demographic-Conditioned Variational Autoencoder for fMRI Distribution Sampling and Removal of Confounds [49.34500499203579]
変動型オートエンコーダ(VAE)ベースのモデルであるDemoVAEを作成し、人口統計学から fMRI の特徴を推定する。
ユーザが供給する人口動態に基づいて,高品質な合成fMRIデータを生成する。
論文 参考訳（メタデータ） (2024-05-13T17:49:20Z) - Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias [3.455189439319919]
大規模な言語モデル(LLM)におけるバイアスと実世界の知識を評価するための最初のベンチマークフレームワークであるCross-Careを紹介する。
ThePile$のような事前学習コーパスに埋め込まれた人口統計バイアスがLLMの出力にどのように影響するかを評価する。
以上の結果から, LLMの病状有病率と, 集団間での実際の病状有病率との相違が明らかとなった。
論文 参考訳（メタデータ） (2024-05-09T02:33:14Z) - Demographic Bias of Expert-Level Vision-Language Foundation Models in
Medical Imaging [13.141767097232796]
自己監督型視覚言語基盤モデルは、明示的なトレーニングアノテーションに頼ることなく、幅広い病態を検出することができる。
これらのAIモデルが人間の偏見を反映または増幅しないことを保証することが不可欠である。
本研究では,5つのグローバルソースデータセットを対象とした胸部X線診断における最先端の視覚言語基盤モデルのアルゴリズム的公正性について検討した。
論文 参考訳（メタデータ） (2024-02-22T18:59:53Z) - An AI-Guided Data Centric Strategy to Detect and Mitigate Biases in
Healthcare Datasets [32.25265709333831]
我々は、小さなサンプルサイズ(AEquity)で異なるグループをいかに容易に学習するかを調査することによって、データセットバイアスを評価するために、データ中心、モデルに依存しないタスク非依存のアプローチを生成する。
次に、サブポピュレーション全体にわたるAEq値の体系的分析を適用し、医療における2つの既知の事例において、人種的偏見の特定と顕在化を図った。
AEqは、医療データセットのバイアスを診断し、修正することで、エクイティの前進に適用できる、新しく広く適用可能なメトリクスである。
論文 参考訳（メタデータ） (2023-11-06T17:08:41Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳（メタデータ） (2021-01-13T03:20:20Z) - Risk of Training Diagnostic Algorithms on Data with Demographic Bias [0.5599792629509227]
医用画像解析アプリケーションにおけるMICCAI 2018の実践を調査するために,MICCAI 2018の手順を調査した。
意外なことに、診断に焦点を当てた論文では、使用されるデータセットの人口統計がほとんど書かれていないことが判明した。
本研究では,非偏りのある特徴を,対向的な学習環境において,人口統計変数を明示的に使用することにより学習可能であることを示す。
論文 参考訳（メタデータ） (2020-05-20T13:51:01Z) - Hemogram Data as a Tool for Decision-making in COVID-19 Management:
Applications to Resource Scarcity Scenarios [62.997667081978825]
新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。
本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。
提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
論文 参考訳（メタデータ） (2020-05-10T01:45:03Z) - Towards Causality-Aware Inferring: A Sequential Discriminative Approach
for Medical Diagnosis [142.90770786804507]
医学診断アシスタント(MDA)は、疾患を識別するための症状を逐次調査する対話型診断エージェントを構築することを目的としている。
この研究は、因果図を利用して、MDAにおけるこれらの重要な問題に対処しようとする。
本稿では,他の記録から知識を引き出すことにより,非記録的調査に効果的に答える確率に基づく患者シミュレータを提案する。
論文 参考訳（メタデータ） (2020-03-14T02:05:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。