論文の概要: Towards Safe Large Language Models for Medicine
- arxiv url: http://arxiv.org/abs/2403.03744v2
- Date: Wed, 1 May 2024 12:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 18:05:17.510755
- Title: Towards Safe Large Language Models for Medicine
- Title（参考訳）: 医療用大規模言語モデルの構築に向けて
- Authors: Tessa Han, Aounon Kumar, Chirag Agarwal, Himabindu Lakkaraju,
- Abstract要約: 本研究は,医療用大言語モデルの評価と安全性向上のための第1回研究である。
1)現在の医療用LSMは,有害な要求に容易に従うため,一般・医療安全の基準を満たしていない。
本稿では, LLMの医療安全の定義と, LLMの医療安全を評価するためのベンチマークデータセットの開発について述べる。
- 参考スコア（独自算出の注目度）: 32.35118292932457
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As large language models (LLMs) develop ever-improving capabilities and are applied in real-world settings, it is important to understand their safety. While initial steps have been taken to evaluate the safety of general-knowledge LLMs, exposing some weaknesses, the safety of medical LLMs has not been sufficiently evaluated despite their high risks to personal health and safety, public health and safety, patient rights, and human rights. To address this gap, we conduct, to our knowledge, the first study of its kind to evaluate and improve the safety of medical LLMs. We find that 1) current medical LLMs do not meet standards of general or medical safety, as they readily comply with harmful requests and that 2) fine-tuning medical LLMs on safety demonstrations significantly improves their safety, reducing their tendency to comply with harmful requests. In addition, we present a definition of medical safety for LLMs and develop a benchmark dataset to evaluate and train for medical safety in LLMs. Poised at the intersection of research on machine learning safety and medical machine learning, this work casts light on the status quo of the safety of medical LLMs and motivates future work in this area, mitigating the risks of harm of LLMs in medicine.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、常に改善され、現実世界の環境で適用されるため、安全性を理解することが重要である。
一般知識 LLM の安全性を評価するための最初の段階が取られたが、医療 LLM の安全性は、個人の健康と安全、公衆衛生と安全、患者の権利、人権に対するリスクが高いにもかかわらず十分に評価されていない。
このギャップに対処するため、我々は、医療用LDMの安全性を評価し改善するための、その種の最初の研究を行う。
私たちはそれを見つける。
1)現在の医療用LSMは、有害な要求に容易に従うため、一般または医療安全の基準を満たしていない。
2) 安全実証における微調整医療LLMは安全性を著しく向上させ, 有害な要求に応じる傾向を低下させる。
さらに, LLM の医療安全の定義と, LLM の医療安全を評価するためのベンチマークデータセットの開発について述べる。
機械学習の安全性と医療機械学習の研究が交わる中で、この研究は医療用LLMの安全性の現状に光を当て、この分野での今後の研究を動機付け、医学におけるLLMの害のリスクを軽減する。
関連論文リスト
- MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models [55.215061531495984]
メドベンチ(MedBench)は、中国の医学LLMの総合的、標準化され、信頼性の高いベンチマークシステムである。
まず、MedBenchは43の臨床専門分野をカバーするために、最大の評価データセット(300,901の質問)を組み立てる。
第3に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。
論文 参考訳（メタデータ） (2024-06-24T02:25:48Z) - A Survey on Medical Large Language Models: Technology, Application, Trustworthiness, and Future Directions [31.04135502285516]
大規模言語モデル(LLM)は、人間レベルの言語の生成と理解に優れた能力があることから、大きな注目を集めている。
LLMは医療分野において革新的で強力なアドジャンクとして出現し、伝統的なプラクティスを変革し、医療サービス強化の新しい時代を告げている。
論文 参考訳（メタデータ） (2024-06-06T03:15:13Z) - Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models [8.398342612100574]
本稿では,MedMLLMの未発見の脆弱性について述べる。
既存の医療データと非典型的な自然現象を組み合わせることで、2種類の攻撃を再定義する。
このデータセットと新たな攻撃方法による評価は、セキュリティ機能を強化したMedMLLMでさえ、セキュリティ違反に対して脆弱であることを示している。
論文 参考訳（メタデータ） (2024-05-26T19:11:21Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks [3.252906830953028]
大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。
モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。
我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
論文 参考訳（メタデータ） (2023-09-29T06:44:36Z) - SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。
11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。
ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
論文 参考訳（メタデータ） (2023-09-13T15:56:50Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳（メタデータ） (2023-04-20T16:27:35Z) - Review of the AMLAS Methodology for Application in Healthcare [2.6072209210124675]
患者の安全が損なわれないように、MLの安全性を積極的に保証する必要がある。
Assurance of Machine Learning for use in autonomous Systems methodは、Assuring Autonomy International Programmeによって開発された。
本総説では,ML製造業者に対して,現行の安全保証プラクティスから収束するか,逸脱するかを判断するため,方法論を査定した。
論文 参考訳（メタデータ） (2022-09-01T13:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。