論文の概要: Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine

• arxiv url: http://arxiv.org/abs/2411.14487v1
• Date: Wed, 20 Nov 2024 06:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:46.877958
• Title: Ensuring Safety and Trust: Analyzing the Risks of Large Language Models in Medicine
• Title（参考訳）: 安全と信頼の確保:医学における大規模言語モデルのリスクの分析
• Authors: Yifan Yang, Qiao Jin, Robert Leaman, Xiaoyu Liu, Guangzhi Xiong, Maame Sarfo-Gyamfi, Changlin Gong, Santiago Ferrière-Steinert, W. John Wilbur, Xiaojun Li, Jiaxin Yuan, Bang An, Kelvin S. Castro, Francisco Erramuspe Álvarez, Matías Stockle, Aidong Zhang, Furong Huang, Zhiyong Lu,
• Abstract要約: 安全で信頼性の高い医療AIのための5つの重要な原則と10の特定の側面を提案します。 この包括的枠組みの下では、1000人の専門家に検証された質問を伴う新しいMedGuardベンチマークを導入する。 11個の LLM の評価結果から,現行の言語モデルは安全アライメント機構によらず,ベンチマークのほとんどにおいて性能が劣っていることが示唆された。 この研究は、人間の監視の必要性とAI安全ガードレールの実装を浮き彫りにして、重大な安全性のギャップを浮き彫りにした。
• 参考スコア（独自算出の注目度）: 41.71754418349046
• License:
• Abstract: The remarkable capabilities of Large Language Models (LLMs) make them increasingly compelling for adoption in real-world healthcare applications. However, the risks associated with using LLMs in medical applications have not been systematically characterized. We propose using five key principles for safe and trustworthy medical AI: Truthfulness, Resilience, Fairness, Robustness, and Privacy, along with ten specific aspects. Under this comprehensive framework, we introduce a novel MedGuard benchmark with 1,000 expert-verified questions. Our evaluation of 11 commonly used LLMs shows that the current language models, regardless of their safety alignment mechanisms, generally perform poorly on most of our benchmarks, particularly when compared to the high performance of human physicians. Despite recent reports indicate that advanced LLMs like ChatGPT can match or even exceed human performance in various medical tasks, this study underscores a significant safety gap, highlighting the crucial need for human oversight and the implementation of AI safety guardrails.
• Abstract（参考訳）: LLM(Large Language Models)の目覚ましい機能によって、現実の医療アプリケーションへの採用がますます魅力的なものになっています。 しかし, 医療応用におけるLSMの使用に伴うリスクは, 体系的に評価されていない。 我々は、安全で信頼できる医療AIのための5つの重要な原則(真実性、レジリエンス、公正性、ロバスト性、プライバシ)と10の特定の側面について提案する。 この包括的枠組みの下では、1000人の専門家に検証された質問を伴う新しいMedGuardベンチマークを導入する。 現在使われている11個のLCMを評価したところ, 安全アライメント機構にかかわらず, 現在の言語モデルは, 一般的に我々のベンチマークの大部分, 特にヒト医師のハイパフォーマンスと比較すると, 性能が良くないことがわかった。 近年の報告では、ChatGPTのような先進的なLLMは、さまざまな医療タスクにおいて人間のパフォーマンスにマッチまたは超える可能性があると報告されているが、この研究は、人間の監視とAIの安全ガードレールの実装の重要性を強調し、重大な安全性のギャップを浮き彫りにしている。

関連論文リスト

• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [80.45174785447136]
  実験室の事故は人命と財産に重大なリスクをもたらす。 安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。 様々な分野におけるガイダンスのための大きな言語モデル(LLM)に対する懸念が高まっている。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
  医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。 LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。 本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
  論文  参考訳（メタデータ） (2024-06-18T04:24:30Z)
• MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models [39.97454990633856]
  本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
  論文  参考訳（メタデータ） (2024-06-11T13:41:33Z)
• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models [92.04812189642418]
  我々はCARESを紹介し,医療領域全体での医療LVLMの信頼性を評価することを目的とする。 我々は,Med-LVLMの信頼性を,信頼性,公正性,安全性,プライバシ,堅牢性,5次元にわたって評価する。
  論文  参考訳（メタデータ） (2024-06-10T04:07:09Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models [32.35118292932457]
  まず,米国医学会の医療倫理原則に基づいて,大規模言語モデル(LLM)における医療安全の概念を定義した。 次に、この理解を活用して、LSMの医療安全を測定するために設計された最初のベンチマークデータセットであるMedSafetyBenchを導入します。 以上の結果から,医療用LLMは医療安全基準に適合せず,MedSafetyBenchを用いた微調整により医療安全を向上し,医療性能の維持が図られている。
  論文  参考訳（メタデータ） (2024-03-06T14:34:07Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。