Fugu-MT 論文翻訳(概要): Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias

論文の概要: Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias

arxiv url: http://arxiv.org/abs/2405.05506v1
Date: Thu, 9 May 2024 02:33:14 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 14:22:38.908950
Title: Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias
Title（参考訳）: クロスケア: 言語モデルバイアスの事前学習データによる健康影響の評価
Authors: Shan Chen, Jack Gallifant, Mingye Gao, Pedro Moreira, Nikolaj Munch, Ajay Muthukkumar, Arvind Rajan, Jaya Kolluri, Amelia Fiske, Janna Hastings, Hugo Aerts, Brian Anthony, Leo Anthony Celi, William G. La Cava, Danielle S. Bitterman,
Abstract要約: 大規模な言語モデル(LLM)におけるバイアスと実世界の知識を評価するための最初のベンチマークフレームワークであるCross-Careを紹介する。 ThePile$のような事前学習コーパスに埋め込まれた人口統計バイアスがLLMの出力にどのように影響するかを評価する。以上の結果から, LLMの病状有病率と, 集団間での実際の病状有病率との相違が明らかとなった。
参考スコア（独自算出の注目度）: 3.455189439319919
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) are increasingly essential in processing natural languages, yet their application is frequently compromised by biases and inaccuracies originating in their training data. In this study, we introduce Cross-Care, the first benchmark framework dedicated to assessing biases and real world knowledge in LLMs, specifically focusing on the representation of disease prevalence across diverse demographic groups. We systematically evaluate how demographic biases embedded in pre-training corpora like $ThePile$ influence the outputs of LLMs. We expose and quantify discrepancies by juxtaposing these biases against actual disease prevalences in various U.S. demographic groups. Our results highlight substantial misalignment between LLM representation of disease prevalence and real disease prevalence rates across demographic subgroups, indicating a pronounced risk of bias propagation and a lack of real-world grounding for medical applications of LLMs. Furthermore, we observe that various alignment methods minimally resolve inconsistencies in the models' representation of disease prevalence across different languages. For further exploration and analysis, we make all data and a data visualization tool available at: www.crosscare.net.
Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理においてますます不可欠になっているが、それらの応用は、トレーニングデータから生じるバイアスや不正確さによってしばしば損なわれる。本研究では, LLMにおけるバイアスと実世界の知識を評価するための最初のベンチマークフレームワークであるCross-Careを紹介する。 ThePile$のような事前学習コーパスに埋め込まれた人口統計バイアスがLLMの出力にどのように影響するかを系統的に評価した。我々は、アメリカの様々な人口集団における実際の病気の流行に対して、これらのバイアスを差し引いて、不一致を露呈し、定量化する。以上の結果から, LLMの病的有病率と, 集団間での実際の有病率との相違が明らかとなり, 偏差伝播のリスクと, LLMの医学的応用のための現実的基盤の欠如が示唆された。さらに、様々なアライメント手法が、異なる言語間での疾患の頻度のモデルによる表現の不整合を最小限に解決することを観察した。さらなる調査と分析のために、すべてのデータとデータ可視化ツールをwww.crosscare.netで公開しています。

関連論文リスト

CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文参考訳（メタデータ） (2024-07-02T16:31:37Z)
Seeds of Stereotypes: A Large-Scale Textual Analysis of Race and Gender Associations with Diseases in Online Sources [1.8259644946867188]
本研究は、人種や性別の指標とともに様々な疾患が議論される状況を分析した。その結果、人口統計学用語は、オンラインテキストの特定の疾患概念と不均等に関連していることがわかった。我々は、特定の人種的・性別的用語と分析された18の疾患の関連において、幅広い相違を見出した。
論文参考訳（メタデータ） (2024-05-08T13:38:56Z)
Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
論文参考訳（メタデータ） (2024-04-26T16:39:50Z)
On the Out-Of-Distribution Generalization of Multimodal Large Language Models [24.431960338495184]
MLLM(Multimodal Large Language Models)の一般化境界について検討する。我々は、合成画像、実世界の分布シフト、医療画像や分子画像などの特殊なデータセットにまたがるゼロショットの一般化を評価した。テキスト内学習はMLLMの一般化を著しく向上させ,一般化障壁を克服するための新たな道を開くことができることを示す。
論文参考訳（メタデータ） (2024-02-09T18:21:51Z)
Hidden in Plain Sight: Undetectable Adversarial Bias Attacks on Vulnerable Patient Populations [3.5984704795350315]
本研究では,階層的に標的としたラベル中毒攻撃は,深層学習(DL)モデルにおいて検出不能な診断バイアスをもたらす可能性があることを示す。以上の結果から, 逆バイアス攻撃は, 外部データセットを用いて評価した場合においても, 予測バイアスを伝播する有意なDLモデルをもたらすことが示唆された。
論文参考訳（メタデータ） (2024-02-08T14:40:32Z)
Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
論文参考訳（メタデータ） (2024-02-02T12:59:27Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
Connecting Fairness in Machine Learning with Public Health Equity [0.0]
データとモデル設計のバイアスは、特定の保護されたグループの格差をもたらし、医療における既存の不平等を増幅します。本研究は,MLフェアネスに関する基礎文献を要約し,データとモデルのバイアスを特定し緩和するための枠組みを提案する。ケーススタディは、このフレームワークがこれらのバイアスを防ぎ、公衆衛生における公平で公平なMLモデルの必要性を強調するためにどのように使用できるかを示している。
論文参考訳（メタデータ） (2023-04-08T10:21:49Z)
Auditing Algorithmic Fairness in Machine Learning for Health with Severity-Based LOGAN [70.76142503046782]
臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。 LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。 SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
論文参考訳（メタデータ） (2022-11-16T08:04:12Z)
Risk of Training Diagnostic Algorithms on Data with Demographic Bias [0.5599792629509227]
医用画像解析アプリケーションにおけるMICCAI 2018の実践を調査するために,MICCAI 2018の手順を調査した。意外なことに、診断に焦点を当てた論文では、使用されるデータセットの人口統計がほとんど書かれていないことが判明した。本研究では,非偏りのある特徴を,対向的な学習環境において,人口統計変数を明示的に使用することにより学習可能であることを示す。
論文参考訳（メタデータ） (2020-05-20T13:51:01Z)
Predictive Modeling of ICU Healthcare-Associated Infections from Imbalanced Data. Using Ensembles and a Clustering-Based Undersampling Approach [55.41644538483948]
本研究は,集中治療室における危険因子の同定と医療関連感染症の予測に焦点をあてる。感染発生率の低減に向けた意思決定を支援することを目的とする。
論文参考訳（メタデータ） (2020-05-07T16:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。