論文の概要: Bias patterns in the application of LLMs for clinical decision support: A comprehensive study

• arxiv url: http://arxiv.org/abs/2404.15149v1
• Date: Tue, 23 Apr 2024 15:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:22:34.257109
• Title: Bias patterns in the application of LLMs for clinical decision support: A comprehensive study
• Title（参考訳）: LLMの臨床的意思決定支援におけるバイアスパターン:総合的研究
• Authors: Raphael Poulain, Hamed Fayyaz, Rahmatollah Beheshti,
• Abstract要約: 大きな言語モデル (LLMs) は、臨床意思決定プロセスを伝える強力な候補として登場した。 これらのモデルは、デジタルランドスケープを形成する上で、ますます顕著な役割を担っている。 1) LLM は、患者の保護された属性(人種など)に基づいて、どの程度の社会的バイアスを示すのか、2) 設計選択(アーキテクチャ設計や戦略の推進など)は、観察されたバイアスにどのように影響するのか?
• 参考スコア（独自算出の注目度）: 2.089191490381739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as powerful candidates to inform clinical decision-making processes. While these models play an increasingly prominent role in shaping the digital landscape, two growing concerns emerge in healthcare applications: 1) to what extent do LLMs exhibit social bias based on patients' protected attributes (like race), and 2) how do design choices (like architecture design and prompting strategies) influence the observed biases? To answer these questions rigorously, we evaluated eight popular LLMs across three question-answering (QA) datasets using clinical vignettes (patient descriptions) standardized for bias evaluations. We employ red-teaming strategies to analyze how demographics affect LLM outputs, comparing both general-purpose and clinically-trained models. Our extensive experiments reveal various disparities (some significant) across protected groups. We also observe several counter-intuitive patterns such as larger models not being necessarily less biased and fined-tuned models on medical data not being necessarily better than the general-purpose models. Furthermore, our study demonstrates the impact of prompt design on bias patterns and shows that specific phrasing can influence bias patterns and reflection-type approaches (like Chain of Thought) can reduce biased outcomes effectively. Consistent with prior studies, we call on additional evaluations, scrutiny, and enhancement of LLMs used in clinical decision support applications.
• Abstract（参考訳）: 大きな言語モデル (LLMs) は、臨床意思決定プロセスを伝える強力な候補として登場した。 これらのモデルは、デジタルランドスケープを形成する上で、ますます顕著な役割を担っているが、ヘルスケアアプリケーションには2つの懸念が浮かび上がっている。 1)LLMは、患者の保護された属性(人種など)に基づいて、どの程度の社会的偏見を示すか、そして、 2) 設計選択(アーキテクチャ設計や促進戦略など)は、観察されたバイアスにどのように影響しますか? これらの疑問に厳格に答えるために, 偏見評価に標準化された臨床用ヴィグネット(患者説明)を用いて, 3つの質問回答(QA)データセットにまたがる8つの人気のLCMを評価した。 我々は、人口統計学がLCMのアウトプットに与える影響を分析するために、赤チーム戦略を採用し、汎用モデルと臨床訓練モデルを比較した。 広範囲にわたる実験により、保護されたグループ間での様々な格差(いくつかの重要な)が明らかになりました。 また,医療データに対して必ずしもバイアスが小さくない大規模モデルや,汎用モデルよりも必ずしも良くない微調整モデルなど,いくつかの逆直観的パターンも観察する。 さらに、本研究では、素早い設計がバイアスパターンに与える影響を実証し、特定の表現がバイアスパターンや反射型アプローチ(例えば、Chain of Thought)に影響を及ぼすことを示した。 本研究は先行研究と一致し,臨床診断支援に使用されるLSMのさらなる評価,精査,強化を訴える。

関連論文リスト

• How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making? [2.7476176772825904]
  本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。 本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。 このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-10-21T23:14:10Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Aligning (Medical) LLMs for (Counterfactual) Fairness [2.089191490381739]
  大規模言語モデル(LLM)は、医療および臨床決定支援アプリケーションのための有望なソリューションとして登場した。 LLMは様々な種類のバイアスを受けており、個人の不公平な扱い、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。 本稿では, 知識蒸留フレームワークにおける優先最適化手法を用いて, LLMの整列化のための新しいモデルアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T01:11:27Z)
• CLIMB: A Benchmark of Clinical Bias in Large Language Models [39.82307008221118]
  大規模言語モデル(LLM)は、臨床的な意思決定にますます応用されている。 バイアスを示す可能性は、臨床の株式に重大なリスクをもたらす。 現在、LSMにおけるそのような臨床バイアスを体系的に評価するベンチマークが欠如している。
  論文  参考訳（メタデータ） (2024-07-07T03:41:51Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• What Do You See in this Patient? Behavioral Testing of Clinical NLP Models [69.09570726777817]
  本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
  論文  参考訳（メタデータ） (2021-11-30T15:52:04Z)
• Model Selection's Disparate Impact in Real-World Deep Learning Applications [3.924854655504237]
  アルゴリズムの公平性は、自動決定結果におけるバイアスデータの役割を強調している。 このような偏見の1つ、モデル選択における人間の嗜好は、人口集団間で異なる影響を及ぼす役割において、未解明のままである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-04-01T16:37:01Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。