論文の概要: First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows
- arxiv url: http://arxiv.org/abs/2604.18038v1
- Date: Mon, 20 Apr 2026 10:02:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.802461
- Title: First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows
- Title(参考訳): 第一にDo No Harm(LLM):エージェントワークフローによるラシアルバイアスの緩和
- Authors: Sihao Xing, Zaur Gouliev,
- Abstract要約: 大規模言語モデル(LLM)は、医療現場でますます使われており、発生した医療テキストの人種的偏見や臨床推論への懸念が高まっている。
本研究では、EU AI Actをガバナンスレンズとして使用し、2つのタスクで広く使用されている5つのLSMを評価する。
全てのモデルは、合成ケース生成タスクにおける観察された人種分布から逸脱し、GPT-4.1は全体の偏差が最小であった。
エージェントワークフローに埋め込まれた場合、DeepSeek V3は平均p値が0.0348、中央p値が0.1166、平均差が0.0949であった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used in clinical settings, raising concerns about racial bias in both generated medical text and clinical reasoning. Existing studies have identified bias in medical LLMs, but many focus on single models and give less attention to mitigation. This study uses the EU AI Act as a governance lens to evaluate five widely used LLMs across two tasks, namely synthetic patient-case generation and differential diagnosis ranking. Using race-stratified epidemiological distributions in the United States and expert differential diagnosis lists as benchmarks, we apply structured prompt templates and a two-part evaluation design to examine implicit and explicit racial bias. All models deviated from observed racial distributions in the synthetic case generation task, with GPT-4.1 showing the smallest overall deviation. In the differential diagnosis task, DeepSeek V3 produced the strongest overall results across the reported metrics. When embedded in an agentic workflow, DeepSeek V3 showed an improvement of 0.0348 in mean p-value, 0.1166 in median p-value, and 0.0949 in mean difference relative to the standalone model, although improvement was not uniform across every metric. These findings support multi-metric bias evaluation for AI systems used in medical settings and suggest that retrieval-based agentic workflows may reduce some forms of explicit bias in benchmarked diagnostic tasks. Detailed prompt templates, experimental datasets, and code pipelines are available on our GitHub.
- Abstract(参考訳): 大規模言語モデル(LLM)は、医療現場でますます使われており、生成された医療テキストと臨床推論の両方に人種的偏見が懸念されている。
既存の研究では、医療用LLMのバイアスが特定されているが、多くの研究は単一モデルに焦点を当てており、緩和にはあまり注意を払わない。
本研究は、EU AI Actをガバナンスレンズとして使用し、2つのタスクで広く使用されている5つのLCM、すなわち、合成患者ケース生成と差分診断ランキングを評価する。
米国における人種階層化疫学分布と専門家差分診断リストをベンチマークとして、構造化プロンプトテンプレートと2部評価設計を適用し、暗黙的および明示的な人種的偏見を検証した。
全てのモデルは、合成ケース生成タスクにおける観察された人種分布から逸脱し、GPT-4.1は全体の偏差が最小であった。
ディファレンシャル診断タスクでは、DeepSeek V3が報告された指標全体で最強の総合的な結果を生み出した。
エージェントワークフローに埋め込まれた場合、DeepSeek V3は平均p値が0.0348、中央p値が0.1166、平均差が0.0949であった。
これらの知見は、医療現場で使用されるAIシステムのマルチメトリックバイアス評価をサポートし、検索ベースのエージェントワークフローは、ベンチマークされた診断タスクにおける明示的なバイアスのいくつかの形態を減少させる可能性があることを示唆している。
詳細なプロンプトテンプレート、実験データセット、コードパイプラインはGitHubで入手可能です。
関連論文リスト
- Synergizing Discriminative Exemplars and Self-Refined Experience for MLLM-based In-Context Learning in Medical Diagnosis [4.619078510367921]
クリニック・ミメティックは、差別的模範的コアセット選択(DECS)と自己修正経験要約(SRES)を相乗化するために設計された新しいインコンテキスト・ラーニング(ICL)フレームワークである。
DECSは、ノイズデータから識別的視覚コアセットを計算レベルで選択することで、臨床医の「アンカーケース」を参照する能力をシミュレートする。
SRESは、多様なロールアウトを動的テキスト体験銀行に蒸留することにより、臨床診断における認知と反射を模倣する。
論文 参考訳(メタデータ) (2026-03-29T15:29:59Z) - When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation [18.338933046286257]
大きな言語モデル(LLM)は、医学的なクエリを含む様々な問題に対処するために、ますます採用されている。
LLMは医学的文脈では性能が悪く、ユーザにとって有害な誤認につながる可能性がある。
本稿では,実際の患者-医師間相互作用の転写を用いたトランスフォーマーベースデコーダモデルであるLlama 2 7Bの微調整に焦点を当てた。
論文 参考訳(メタデータ) (2026-02-27T21:09:43Z) - Interpreting Biomedical VLMs on High-Imbalance Out-of-Distributions: An Insight into BiomedCLIP on Radiology [0.0]
我々は、高度にバランスの取れない、アウト・オブ・ディストリビューションな医療データセットに適用した場合、BiomedCLIPの限界を分析する。
ゼロショット設定下でのモデルは,すべてのラベルを過度に予測し,精度の低下とクラス間分離性に繋がることを示す。
我々は、現実の環境で信頼性と適用性を高めるために、モデルの慎重な適応の必要性を強調します。
論文 参考訳(メタデータ) (2025-06-17T02:59:42Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳(メタデータ) (2025-05-26T16:05:10Z) - AI Alignment in Medical Imaging: Unveiling Hidden Biases Through Counterfactual Analysis [16.21270312974956]
人口統計学などのセンシティブな属性に対する医療画像MLモデルの依存性を評価するための新しい統計フレームワークを提案する。
本稿では,条件付き潜伏拡散モデルと統計的仮説テストを組み合わせて,そのようなバイアスを特定し定量化する実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-28T09:28:25Z) - Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents [64.43980129731587]
因果診断・矯正法(CDC)という因果推論時間脱バイアス法を提案する。
CDCはまず、パープレキシティのバイアス効果を診断し、その後、全体の関連スコアからバイアス効果を分離する。
3つの領域にまたがる実験結果から, より優れた脱バイアス効果が示された。
論文 参考訳(メタデータ) (2025-03-11T17:59:00Z) - AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。
これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。
AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
論文 参考訳(メタデータ) (2024-11-26T10:13:39Z) - Towards Fairer Health Recommendations: finding informative unbiased samples via Word Sense Disambiguation [3.328297368052458]
LLMを含むNLPモデルを用いて,医療カリキュラムのバイアス検出に取り組む。
大規模コーパスからの偏見を医学専門家が注釈した4,105点の抜粋を含む金標準データセットで評価した。
論文 参考訳(メタデータ) (2024-09-11T17:10:20Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳(メタデータ) (2023-04-21T11:54:44Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。