論文の概要: Aligning (Medical) LLMs for (Counterfactual) Fairness
- arxiv url: http://arxiv.org/abs/2408.12055v1
- Date: Thu, 22 Aug 2024 01:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:33:26.041786
- Title: Aligning (Medical) LLMs for (Counterfactual) Fairness
- Title(参考訳): 商品フェアネスのための(医療)LCMの調整
- Authors: Raphael Poulain, Hamed Fayyaz, Rahmatollah Beheshti,
- Abstract要約: 大規模言語モデル(LLM)は、医療および臨床決定支援アプリケーションのための有望なソリューションとして登場した。
LLMは様々な種類のバイアスを受けており、個人の不公平な扱い、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。
本稿では, 知識蒸留フレームワークにおける優先最適化手法を用いて, LLMの整列化のための新しいモデルアライメント手法を提案する。
- 参考スコア(独自算出の注目度): 2.089191490381739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have emerged as promising solutions for a variety of medical and clinical decision support applications. However, LLMs are often subject to different types of biases, which can lead to unfair treatment of individuals, worsening health disparities, and reducing trust in AI-augmented medical tools. Aiming to address this important issue, in this study, we present a new model alignment approach for aligning LLMs using a preference optimization method within a knowledge distillation framework. Prior to presenting our proposed method, we first use an evaluation framework to conduct a comprehensive (largest to our knowledge) empirical evaluation to reveal the type and nature of existing biases in LLMs used for medical applications. We then offer a bias mitigation technique to reduce the unfair patterns in LLM outputs across different subgroups identified by the protected attributes. We show that our mitigation method is effective in significantly reducing observed biased patterns. Our code is publicly available at \url{https://github.com/healthylaife/FairAlignmentLLM}.
- Abstract(参考訳): 大規模言語モデル (LLMs) は、様々な医学的・臨床的意思決定支援アプリケーションのための有望な解決策として登場した。
しかし、LSMは様々な種類のバイアスを受けており、個人の不公平な治療、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。
本研究は, この課題に対処するために, 知識蒸留フレームワーク内での選好最適化手法を用いてLLMを整列するモデルアライメント手法を提案する。
提案手法を提示する前に,我々はまず,医学的応用に使用されるLCMの既存バイアスの種類と性質を明らかにするために,総合的な(我々の知識に最も大きな)経験的評価を行うための評価枠組みを用いた。
次に、保護属性によって識別される異なるサブグループ間でのLCM出力の不公平なパターンを低減するバイアス緩和手法を提案する。
本手法は,観察された偏りパターンの低減に有効であることを示す。
私たちのコードは、 \url{https://github.com/healthylaife/FairAlignmentLLM}で公開されています。
関連論文リスト
- CLIMB: A Benchmark of Clinical Bias in Large Language Models [39.82307008221118]
大規模言語モデル(LLM)は、臨床的な意思決定にますます応用されている。
バイアスを示す可能性は、臨床の株式に重大なリスクをもたらす。
現在、LSMにおけるそのような臨床バイアスを体系的に評価するベンチマークが欠如している。
論文 参考訳(メタデータ) (2024-07-07T03:41:51Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。
好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
論文 参考訳(メタデータ) (2024-04-22T17:20:18Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Selecting Shots for Demographic Fairness in Few-Shot Learning with Large
Language Models [14.772568847965408]
NLP分類システムとしての大規模言語モデル(LLM)の公平性に及ぼすショットの影響について検討する。
既存のものと、新しい人口統計学的に敏感な方法の両方において、異なるショット選択戦略が、3つの標準フェアネスデータセットのモデルフェアネスにどのように影響するかを検討する。
論文 参考訳(メタデータ) (2023-11-14T19:02:03Z) - Improving Fairness in AI Models on Electronic Health Records: The Case
for Federated Learning Methods [0.0]
我々は、医療機関が連合学習パラダイムを通じて協力することで、バイアスの懸念を軽減する1つの可能なアプローチを示す。
本稿では,様々な公正度尺度に適合する,対向的偏りを伴う包括的FL手法とフェアアグリゲーション手法を提案する。
本手法は, 判定性能(精度)に最低限の影響を伴って, 有望な公平性を達成している。
論文 参考訳(メタデータ) (2023-05-19T02:03:49Z) - Auditing Algorithmic Fairness in Machine Learning for Health with
Severity-Based LOGAN [70.76142503046782]
臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。
LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。
SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
論文 参考訳(メタデータ) (2022-11-16T08:04:12Z) - Few-shot segmentation of medical images based on meta-learning with
implicit gradients [0.48861336570452174]
医用画像セグメンテーションのための数ショット設定において,最適化に基づく暗黙的メタ学習iMAMLアルゴリズムを活用することを提案する。
このアプローチでは、さまざまなトレーニングサンプルから学んだ重みを活用でき、新しい未知のデータセットにデプロイすることができます。
論文 参考訳(メタデータ) (2021-06-06T19:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。