論文の概要: How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making?

• arxiv url: http://arxiv.org/abs/2410.16574v1
• Date: Mon, 21 Oct 2024 23:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:58.565970
• Title: How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making?
• Title（参考訳）: 大規模言語モデルにおける臨床診断のための診断と治療法
• Authors: Kenza Benkirane, Jackie Kay, Maria Perez-Ortiz,
• Abstract要約: 本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。 本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。 このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
• 参考スコア（独自算出の注目度）: 2.7476176772825904
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have positioned them as powerful tools for clinical decision-making, with rapidly expanding applications in healthcare. However, concerns about bias remain a significant challenge in the clinical implementation of LLMs, particularly regarding gender and ethnicity. This research investigates the evaluation and mitigation of bias in LLMs applied to complex clinical cases, focusing on gender and ethnicity biases. We introduce a novel Counterfactual Patient Variations (CPV) dataset derived from the JAMA Clinical Challenge. Using this dataset, we built a framework for bias evaluation, employing both Multiple Choice Questions (MCQs) and corresponding explanations. We explore prompting with eight LLMs and fine-tuning as debiasing methods. Our findings reveal that addressing social biases in LLMs requires a multidimensional approach as mitigating gender bias can occur while introducing ethnicity biases, and that gender bias in LLM embeddings varies significantly across medical specialities. We demonstrate that evaluating both MCQ response and explanation processes is crucial, as correct responses can be based on biased \textit{reasoning}. We provide a framework for evaluating LLM bias in real-world clinical cases, offer insights into the complex nature of bias in these models, and present strategies for bias mitigation.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩により、医療分野での応用が急速に拡大し、臨床意思決定の強力なツールとして位置づけられている。 しかし、特に性別や民族に関して、LLMの臨床的実践において、偏見に関する懸念は依然として重大な課題である。 本研究は, 複雑な臨床症例に適用されたLSMの性差評価と緩和について検討し, 性別と民族性バイアスに着目した。 本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。 このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明の両方を用いて、バイアス評価のためのフレームワークを構築した。 我々は8つのLDMと微調整をデバイアス法として検討する。 LLMにおける社会的偏見に対処するには、民族性偏見を導入しながら性別偏見を緩和する多次元的アプローチが必要であり、LSM埋め込みにおける性別偏見は医療分野によって大きく異なることが明らかとなった。 我々は, MCQ応答と説明過程の両方を評価することが重要であることを実証した。 実世界の臨床症例におけるLCMバイアスを評価するためのフレームワークを提供し、これらのモデルにおけるバイアスの複雑な性質に関する洞察を提供し、バイアス軽減のための戦略を示す。

関連論文リスト

• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [58.130894823145205]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Enabling Scalable Evaluation of Bias Patterns in Medical LLMs [2.089191490381739]
  大規模言語モデル(LLMs)は、多くの医学的課題に大きく貢献する可能性を示している。 主な関心領域の1つは、医学的応用におけるLSMの偏りのある行動に関連しており、個人の不公平な治療につながっている。 本稿では,厳密な医学的証拠に基づく検査ケースの自動生成により,そのようなバイアス評価をスケールアップする手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:17:03Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Aligning (Medical) LLMs for (Counterfactual) Fairness [2.089191490381739]
  大規模言語モデル(LLM)は、医療および臨床決定支援アプリケーションのための有望なソリューションとして登場した。 LLMは様々な種類のバイアスを受けており、個人の不公平な扱い、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。 本稿では, 知識蒸留フレームワークにおける優先最適化手法を用いて, LLMの整列化のための新しいモデルアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T01:11:27Z)
• CLIMB: A Benchmark of Clinical Bias in Large Language Models [39.82307008221118]
  大規模言語モデル(LLM)は、臨床的な意思決定にますます応用されている。 バイアスを示す可能性は、臨床の株式に重大なリスクをもたらす。 現在、LSMにおけるそのような臨床バイアスを体系的に評価するベンチマークが欠如している。
  論文  参考訳（メタデータ） (2024-07-07T03:41:51Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• Bias patterns in the application of LLMs for clinical decision support: A comprehensive study [2.089191490381739]
  大きな言語モデル (LLMs) は、臨床意思決定プロセスを伝える強力な候補として登場した。 これらのモデルは、デジタルランドスケープを形成する上で、ますます顕著な役割を担っている。 1) LLM は、患者の保護された属性(人種など)に基づいて、どの程度の社会的バイアスを示すのか、2) 設計選択(アーキテクチャ設計や戦略の推進など)は、観察されたバイアスにどのように影響するのか?
  論文  参考訳（メタデータ） (2024-04-23T15:52:52Z)
• Addressing cognitive bias in medical language models [25.58126133789956]
  BiasMedQAは、医療タスクに適用された大規模言語モデル(LLM)の認知バイアスを評価するためのベンチマークである。 USMLE(US Medical Licensing Exam)ステップ1、2、3の1273の質問に対して、6つのモデルを試した。 GPT-4は認知バイアスの影響を受けないLlama 2 70B-chatとPMC Llama 13Bとは対照的に, バイアスに対する耐性が顕著であった。
  論文  参考訳（メタデータ） (2024-02-12T23:08:37Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。