論文の概要: Towards Safe and Aligned Large Language Models for Medicine
- arxiv url: http://arxiv.org/abs/2403.03744v1
- Date: Wed, 6 Mar 2024 14:34:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:43:43.546509
- Title: Towards Safe and Aligned Large Language Models for Medicine
- Title（参考訳）: 医療用大規模言語モデルの構築に向けて
- Authors: Tessa Han, Aounon Kumar, Chirag Agarwal, Himabindu Lakkaraju
- Abstract要約: 我々は医療用人工知能システムのための医療安全とアライメントの定義を策定した。
医療用LLMの安全性と整合性について検討した。
我々は、機械学習コミュニティが安全で整合性のあるLLMを開発するために広く、大規模なアプローチについて論じる。
- 参考スコア（独自算出の注目度）: 35.34134325715165
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The capabilities of large language models (LLMs) have been progressing at a
breathtaking speed, leaving even their own developers grappling with the depth
of their potential and risks. While initial steps have been taken to evaluate
the safety and alignment of general-knowledge LLMs, exposing some weaknesses,
to our knowledge, the safety and alignment of medical LLMs has not been
evaluated despite their risks for personal health and safety, public health and
safety, and human rights. To this end, we carry out the first safety evaluation
for medical LLMs. Specifically, we set forth a definition of medical safety and
alignment for medical artificial intelligence systems, develop a dataset of
harmful medical questions to evaluate the medical safety and alignment of an
LLM, evaluate both general and medical safety and alignment of medical LLMs,
demonstrate fine-tuning as an effective mitigation strategy, and discuss
broader, large-scale approaches used by the machine learning community to
develop safe and aligned LLMs. We hope that this work casts light on the safety
and alignment of medical LLMs and motivates future work to study it and develop
additional mitigation strategies, minimizing the risks of harm of LLMs in
medicine.
- Abstract（参考訳）: 大規模言語モデル(llm)の能力は、息をのむようなスピードで進歩しており、開発者でさえその可能性とリスクの深さに満足している。
一般知識 LLM の安全性と整合性を評価するための最初の段階が取られたが、医療 LLM の安全性と整合性は、個人の健康と安全、公衆衛生と安全、人権のリスクにもかかわらず評価されていない。
この目的のために,我々は医療用llmの安全性評価を初めて実施する。
具体的には,医療用人工知能システムにおける医療安全とアライメントの定義,llmの医療安全とアライメントを評価するための有害な医療質問のデータセットの開発,医用llmの一般および医療安全とアライメントの評価,効果的な緩和戦略としての微調整の実証,安全でアライメントされたllmを開発するために機械学習コミュニティが使用する広範な大規模アプローチについて論じる。
本研究は、医療用LSMの安全性と整合性に光を当て、今後の研究を動機付け、医学におけるLSMの害のリスクを最小限に抑えて、さらなる緩和戦略を開発することを願っている。
関連論文リスト
- Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine [41.71754418349046]
安全で信頼性の高い医療AIのための5つの重要な原則と10の特定の側面を提案します。
この包括的枠組みの下では、1000人の専門家に検証された質問を伴う新しいMedGuardベンチマークを導入する。
11個の LLM の評価結果から,現行の言語モデルは安全アライメント機構によらず,ベンチマークのほとんどにおいて性能が劣っていることが示唆された。
この研究は、人間の監視の必要性とAI安全ガードレールの実装を浮き彫りにして、重大な安全性のギャップを浮き彫りにした。
論文 参考訳（メタデータ） (2024-11-20T06:34:32Z) - LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [80.45174785447136]
実験室の事故は人命と財産に重大なリスクをもたらす。
安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。
様々な分野におけるガイダンスのための大きな言語モデル(LLM)に対する懸念が高まっている。
論文 参考訳（メタデータ） (2024-10-18T05:21:05Z) - MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models [55.215061531495984]
メドベンチ(MedBench)は、中国の医学LLMの総合的、標準化され、信頼性の高いベンチマークシステムである。
まず、MedBenchは43の臨床専門分野をカバーするために、最大の評価データセット(300,901の質問)を組み立てる。
第3に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。
論文 参考訳（メタデータ） (2024-06-24T02:25:48Z) - Medical MLLM is Vulnerable: Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models [9.860799633304298]
本稿では,MedMLLMの未発見の脆弱性について述べる。
既往の医療データと非典型的自然現象を組み合わせることで、不正な悪意のある攻撃を定義する。
本稿では,MedMLLM の攻撃成功率を大幅に向上させる MCM 最適化手法を提案する。
論文 参考訳（メタデータ） (2024-05-26T19:11:21Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Medical Foundation Models are Susceptible to Targeted Misinformation
Attacks [3.252906830953028]
大規模言語モデル(LLM)は幅広い医学知識を持ち、多くの領域にわたって医療情報を推論することができる。
モデルの重量のわずか1.1%を目標に操作することで、医学におけるLSMの脆弱性を実証する。
我々は1038件の誤った生物医学的事実のセットでこの知見を検証した。
論文 参考訳（メタデータ） (2023-09-29T06:44:36Z) - SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。
11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。
ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
論文 参考訳（メタデータ） (2023-09-13T15:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。