論文の概要: MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models

• arxiv url: http://arxiv.org/abs/2403.03744v5
• Date: Wed, 09 Oct 2024 17:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:28:38.406260
• Title: MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models
• Title（参考訳）: MedSafetyBench:大規模言語モデルの医療安全評価と改善
• Authors: Tessa Han, Aounon Kumar, Chirag Agarwal, Himabindu Lakkaraju,
• Abstract要約: まず,米国医学会の医療倫理原則に基づいて,大規模言語モデル(LLM)における医療安全の概念を定義した。 次に、この理解を活用して、LSMの医療安全を測定するために設計された最初のベンチマークデータセットであるMedSafetyBenchを導入します。 以上の結果から,医療用LLMは医療安全基準に適合せず,MedSafetyBenchを用いた微調整により医療安全を向上し,医療性能の維持が図られている。
• 参考スコア（独自算出の注目度）: 32.35118292932457
• License:
• Abstract: As large language models (LLMs) develop increasingly sophisticated capabilities and find applications in medical settings, it becomes important to assess their medical safety due to their far-reaching implications for personal and public health, patient safety, and human rights. However, there is little to no understanding of the notion of medical safety in the context of LLMs, let alone how to evaluate and improve it. To address this gap, we first define the notion of medical safety in LLMs based on the Principles of Medical Ethics set forth by the American Medical Association. We then leverage this understanding to introduce MedSafetyBench, the first benchmark dataset designed to measure the medical safety of LLMs. We demonstrate the utility of MedSafetyBench by using it to evaluate and improve the medical safety of LLMs. Our results show that publicly-available medical LLMs do not meet standards of medical safety and that fine-tuning them using MedSafetyBench improves their medical safety while preserving their medical performance. By introducing this new benchmark dataset, our work enables a systematic study of the state of medical safety in LLMs and motivates future work in this area, paving the way to mitigate the safety risks of LLMs in medicine. The benchmark dataset and code are available at https://github.com/AI4LIFE-GROUP/med-safety-bench.
• Abstract（参考訳）: 大規模言語モデル (LLM) がますます高度化して医療分野に応用されるようになるにつれて, 個人や公衆衛生, 患者の安全, 人権に対する影響が拡大しているため, 医療の安全性を評価することが重要である。 しかし, LLMの文脈では, 医療安全の概念をどう評価し, 改善するかは, ほとんど理解されていない。 このギャップに対処するために,アメリカ医学会が定める医療倫理の原則に基づいて,まず LLM における医療安全の概念を定義した。 次に、この理解を活用して、LSMの医療安全を測定するために設計された最初のベンチマークデータセットであるMedSafetyBenchを導入します。 LLMの安全性を評価・改善するために,MedSafetyBenchの有用性を実証する。 以上の結果から,医療用LLMは医療安全基準に適合せず,MedSafetyBenchを用いた微調整により医療安全を向上し,医療性能の維持が図られている。 この新たなベンチマークデータセットを導入することで、我々の研究は、LSMにおける医療安全状態の体系的な研究を可能にし、この領域における将来の作業の動機付けを可能にし、医学におけるLSMの安全性リスクを軽減する道を開いた。 ベンチマークデータセットとコードはhttps://github.com/AI4LIFE-GROUP/med-safety-bench.orgで公開されている。

関連論文リスト

• CFSafety: Comprehensive Fine-grained Safety Assessment for LLMs [4.441767341563709]
  5つの古典的安全シナリオと5種類の命令攻撃を統合した安全評価ベンチマークCFSafetyを導入する。 このテストセットは、大規模言語モデル(LLM)の自然言語生成能力を評価するために使用された。 その結果, GPT-4は安全性能に優れていたが, このモデルを含むLLMの安全性は改善が必要であることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T03:25:20Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [80.45174785447136]
  実験室の事故は人命と財産に重大なリスクをもたらす。 安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。 様々な分野におけるガイダンスのための大きな言語モデル(LLM)に対する懸念が高まっている。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models [55.215061531495984]
  メドベンチ(MedBench)は、中国の医学LLMの総合的、標準化され、信頼性の高いベンチマークシステムである。 まず、MedBenchは43の臨床専門分野をカバーするために、最大の評価データセット(300,901の質問)を組み立てる。 第3に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。
  論文  参考訳（メタデータ） (2024-06-24T02:25:48Z)
• Medical MLLM is Vulnerable: Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models [9.860799633304298]
  本稿では,MedMLLMの未発見の脆弱性について述べる。 既往の医療データと非典型的自然現象を組み合わせることで、不正な悪意のある攻撃を定義する。 本稿では,MedMLLM の攻撃成功率を大幅に向上させる MCM 最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T19:11:21Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Medical Foundation Models are Susceptible to Targeted Misinformation Attacks [3.252906830953028]
  大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。 モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。 我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
  論文  参考訳（メタデータ） (2023-09-29T06:44:36Z)
• SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
  SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。 11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。 ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
  論文  参考訳（メタデータ） (2023-09-13T15:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。