Fugu-MT 論文翻訳(概要): Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias

論文の概要: Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias

arxiv url: http://arxiv.org/abs/2405.05506v1
Date: Thu, 9 May 2024 02:33:14 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 14:22:38.908950
Title: Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias
Title（参考訳）: クロスケア: 言語モデルバイアスの事前学習データによる健康影響の評価
Authors: Shan Chen, Jack Gallifant, Mingye Gao, Pedro Moreira, Nikolaj Munch, Ajay Muthukkumar, Arvind Rajan, Jaya Kolluri, Amelia Fiske, Janna Hastings, Hugo Aerts, Brian Anthony, Leo Anthony Celi, William G. La Cava, Danielle S. Bitterman,
Abstract要約: 大規模な言語モデル(LLM)におけるバイアスと実世界の知識を評価するための最初のベンチマークフレームワークであるCross-Careを紹介する。 ThePile$のような事前学習コーパスに埋め込まれた人口統計バイアスがLLMの出力にどのように影響するかを評価する。以上の結果から, LLMの病状有病率と, 集団間での実際の病状有病率との相違が明らかとなった。
参考スコア（独自算出の注目度）: 3.455189439319919
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) are increasingly essential in processing natural languages, yet their application is frequently compromised by biases and inaccuracies originating in their training data. In this study, we introduce Cross-Care, the first benchmark framework dedicated to assessing biases and real world knowledge in LLMs, specifically focusing on the representation of disease prevalence across diverse demographic groups. We systematically evaluate how demographic biases embedded in pre-training corpora like $ThePile$ influence the outputs of LLMs. We expose and quantify discrepancies by juxtaposing these biases against actual disease prevalences in various U.S. demographic groups. Our results highlight substantial misalignment between LLM representation of disease prevalence and real disease prevalence rates across demographic subgroups, indicating a pronounced risk of bias propagation and a lack of real-world grounding for medical applications of LLMs. Furthermore, we observe that various alignment methods minimally resolve inconsistencies in the models' representation of disease prevalence across different languages. For further exploration and analysis, we make all data and a data visualization tool available at: www.crosscare.net.
Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理においてますます不可欠になっているが、それらの応用は、トレーニングデータから生じるバイアスや不正確さによってしばしば損なわれる。本研究では, LLMにおけるバイアスと実世界の知識を評価するための最初のベンチマークフレームワークであるCross-Careを紹介する。 ThePile$のような事前学習コーパスに埋め込まれた人口統計バイアスがLLMの出力にどのように影響するかを系統的に評価した。我々は、アメリカの様々な人口集団における実際の病気の流行に対して、これらのバイアスを差し引いて、不一致を露呈し、定量化する。以上の結果から, LLMの病的有病率と, 集団間での実際の有病率との相違が明らかとなり, 偏差伝播のリスクと, LLMの医学的応用のための現実的基盤の欠如が示唆された。さらに、様々なアライメント手法が、異なる言語間での疾患の頻度のモデルによる表現の不整合を最小限に解決することを観察した。さらなる調査と分析のために、すべてのデータとデータ可視化ツールをwww.crosscare.netで公開しています。

関連論文リスト

How Can We Diagnose and Treat Bias in Large Language Models for Clinical Decision-Making? [2.7476176772825904]
本研究では,大規模言語モデル(LLM)におけるバイアスの評価と緩和について検討する。本稿では,JAMAクリニカルチャレンジから得られた新しいCPVデータセットについて紹介する。このデータセットを用いて、複数の選択質問(MCQ)とそれに対応する説明を併用し、バイアス評価のためのフレームワークを構築した。
論文参考訳（メタデータ） (2024-10-21T23:14:10Z)
DiversityMedQA: Assessing Demographic Biases in Medical Diagnosis using Large Language Models [2.750784330885499]
DiversityMedQAは,多彩な患者集団にわたる医療クエリに対する大規模言語モデル(LLM)応答を評価するために設計された,新しいベンチマークである。以上の結果から,これらの変動に比較して,モデル性能に顕著な差が認められた。
論文参考訳（メタデータ） (2024-09-02T23:37:20Z)
Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文参考訳（メタデータ） (2024-08-15T21:09:09Z)
CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文参考訳（メタデータ） (2024-07-02T16:31:37Z)
Seeds of Stereotypes: A Large-Scale Textual Analysis of Race and Gender Associations with Diseases in Online Sources [1.8259644946867188]
本研究は、人種や性別の指標とともに様々な疾患が議論される状況を分析した。その結果、人口統計学用語は、オンラインテキストの特定の疾患概念と不均等に関連していることがわかった。我々は、特定の人種的・性別的用語と分析された18の疾患の関連において、幅広い相違を見出した。
論文参考訳（メタデータ） (2024-05-08T13:38:56Z)
Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
論文参考訳（メタデータ） (2024-02-02T12:59:27Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
Connecting Fairness in Machine Learning with Public Health Equity [0.0]
データとモデル設計のバイアスは、特定の保護されたグループの格差をもたらし、医療における既存の不平等を増幅します。本研究は,MLフェアネスに関する基礎文献を要約し,データとモデルのバイアスを特定し緩和するための枠組みを提案する。ケーススタディは、このフレームワークがこれらのバイアスを防ぎ、公衆衛生における公平で公平なMLモデルの必要性を強調するためにどのように使用できるかを示している。
論文参考訳（メタデータ） (2023-04-08T10:21:49Z)
Auditing Algorithmic Fairness in Machine Learning for Health with Severity-Based LOGAN [70.76142503046782]
臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。 LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。 SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
論文参考訳（メタデータ） (2022-11-16T08:04:12Z)
Risk of Training Diagnostic Algorithms on Data with Demographic Bias [0.5599792629509227]
医用画像解析アプリケーションにおけるMICCAI 2018の実践を調査するために,MICCAI 2018の手順を調査した。意外なことに、診断に焦点を当てた論文では、使用されるデータセットの人口統計がほとんど書かれていないことが判明した。本研究では,非偏りのある特徴を,対向的な学習環境において,人口統計変数を明示的に使用することにより学習可能であることを示す。
論文参考訳（メタデータ） (2020-05-20T13:51:01Z)
Predictive Modeling of ICU Healthcare-Associated Infections from Imbalanced Data. Using Ensembles and a Clustering-Based Undersampling Approach [55.41644538483948]
本研究は,集中治療室における危険因子の同定と医療関連感染症の予測に焦点をあてる。感染発生率の低減に向けた意思決定を支援することを目的とする。
論文参考訳（メタデータ） (2020-05-07T16:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。