論文の概要: Gender-Neutral Large Language Models for Medical Applications: Reducing Bias in PubMed Abstracts

• arxiv url: http://arxiv.org/abs/2501.06365v1
• Date: Fri, 10 Jan 2025 22:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:23.747156
• Title: Gender-Neutral Large Language Models for Medical Applications: Reducing Bias in PubMed Abstracts
• Title（参考訳）: 医学応用のためのジェンダーニュートラル大言語モデル:PubMed Abstractsにおけるバイアス低減
• Authors: Elizabeth Schaefer, Kirk Roberts,
• Abstract要約: 本稿では,医学文献で用いられる大規模言語モデルにおいて,性別バイアスを軽減するためのパイプラインを提案する。 1965年からの379,000のPubMed抽象語のデータセットは、専門職に関連する代名詞を識別し、修正するために処理された。
• 参考スコア（独自算出の注目度）: 3.7906296809297406
• License:
• Abstract: This paper presents a pipeline for mitigating gender bias in large language models (LLMs) used in medical literature by neutralizing gendered occupational pronouns. A dataset of 379,000 PubMed abstracts from 1965-1980 was processed to identify and modify pronouns tied to professions. We developed a BERT-based model, ``Modern Occupational Bias Elimination with Refined Training,'' or ``MOBERT,'' trained on these neutralized abstracts, and compared its performance with ``1965Bert,'' trained on the original dataset. MOBERT achieved a 70\% inclusive replacement rate, while 1965Bert reached only 4\%. A further analysis of MOBERT revealed that pronoun replacement accuracy correlated with the frequency of occupational terms in the training data. We propose expanding the dataset and refining the pipeline to improve performance and ensure more equitable language modeling in medical applications.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)におけるジェンダーバイアスを軽減するためのパイプラインについて述べる。 1965年から1980年までの379,000のPubMed抽象語のデータセットは、専門職に関連する代名詞を識別し、修正するために処理された。 BERTをベースとしたモデルである ``Modern Occupational Bias Elimination with Refined Training'' あるいは '`MOBERT' を開発した。 MOBERTは70 %の包括的代替率を獲得し、1965年のBertは4 %に留まった。 さらにMOBERTを解析したところ,代名詞置換精度は訓練データ中の職業用語の頻度と相関していた。 我々は、データセットを拡張し、パイプラインを改良し、パフォーマンスを改善し、医療アプリケーションにおけるより公平な言語モデリングを保証することを提案する。

関連論文リスト

• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts [0.0]
  この研究は、マスキング言語モデル(MLM)に存在する固有のバイアスを掘り下げる。 本研究では, BERT, RoBERTa, DistilBERT, BERT-multilingual, XLM-RoBERTa, DistilBERT-multilingualの6つのモデルについて検討した。 この分析により、すべてのモデルのステレオタイプ的な性別アライメントが明らかとなり、多言語変異は相対的にバイアスを減少させる。
  論文  参考訳（メタデータ） (2024-01-28T23:00:40Z)
• Detecting Sexual Content at the Sentence Level in First Millennium Latin Texts [0.0]
  我々は,紀元前300年から900年までの約2500の文からなる,性意味論を含む新しいコーパスを紹介した。 我々は,様々な文分類手法と異なる入力埋め込み層を評価し,単純なトークンベースの検索を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2023-09-25T09:21:25Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages [51.2321117760104]
  本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。 このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。 本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
  論文  参考訳（メタデータ） (2023-08-31T17:20:50Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• GERNERMED++: Transfer Learning in German Medical NLP [0.46408356903366527]
  我々は、名前付き実体認識(NER)のために訓練されたドイツの医学自然言語処理の統計モデルを提案する。 この作品は、私たちの最初のGERNERMEDモデルの洗練された後継として機能します。
  論文  参考訳（メタデータ） (2022-06-29T09:53:10Z)
• "I'm sorry to hear that": Finding New Biases in Language Models with a Holistic Descriptor Dataset [12.000335510088648]
  新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。 HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。 我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
  論文  参考訳（メタデータ） (2022-05-18T20:37:25Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance [0.11545092788508224]
  2つの臨床ノートデータセットから性別付き言語を識別・除去する。 データ拡張による低～中レベルのバイアス除去のための健康状態分類タスクの最小劣化を示す。 本研究は,自然言語処理パイプラインにおけるバイアスを識別・低減するために,データ拡張を用いた解釈可能なアプローチを概説する。
  論文  参考訳（メタデータ） (2021-03-10T03:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。