論文の概要: LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs

• arxiv url: http://arxiv.org/abs/2410.14182v1
• Date: Fri, 18 Oct 2024 05:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:42.236579
• Title: LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs
• Title（参考訳）: LabSafety Bench:Scientific Labsの安全性問題に関するLLMのベンチマーク
• Authors: Yujun Zhou, Jingdong Yang, Kehan Guo, Pin-Yu Chen, Tian Gao, Werner Geyer, Nuno Moniz, Nitesh V Chawla, Xiangliang Zhang,
• Abstract要約: 実験室の事故は人命と財産に重大なリスクをもたらす。 安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。 様々な分野におけるガイダンスのための大きな言語モデル(LLM)に対する懸念が高まっている。
• 参考スコア（独自算出の注目度）: 80.45174785447136
• License:
• Abstract: Laboratory accidents pose significant risks to human life and property, underscoring the importance of robust safety protocols. Despite advancements in safety training, laboratory personnel may still unknowingly engage in unsafe practices. With the increasing reliance on large language models (LLMs) for guidance in various fields, including laboratory settings, there is a growing concern about their reliability in critical safety-related decision-making. Unlike trained human researchers, LLMs lack formal lab safety education, raising questions about their ability to provide safe and accurate guidance. Existing research on LLM trustworthiness primarily focuses on issues such as ethical compliance, truthfulness, and fairness but fails to fully cover safety-critical real-world applications, like lab safety. To address this gap, we propose the Laboratory Safety Benchmark (LabSafety Bench), a comprehensive evaluation framework based on a new taxonomy aligned with Occupational Safety and Health Administration (OSHA) protocols. This benchmark includes 765 multiple-choice questions verified by human experts, assessing LLMs and vision language models (VLMs) performance in lab safety contexts. Our evaluations demonstrate that while GPT-4o outperforms human participants, it is still prone to critical errors, highlighting the risks of relying on LLMs in safety-critical environments. Our findings emphasize the need for specialized benchmarks to accurately assess the trustworthiness of LLMs in real-world safety applications.
• Abstract（参考訳）: 実験室の事故は人命と財産に重大なリスクをもたらし、堅牢な安全プロトコルの重要性を強調している。 安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。 実験室の設定を含む様々な分野における指導のための大規模言語モデル (LLM) への依存度が高まっているため、重要な安全関連意思決定における信頼性への懸念が高まっている。 訓練された人間の研究者とは異なり、LSMは正式な実験室の安全教育を欠き、安全で正確なガイダンスを提供する能力について疑問を呈している。 LLMの信頼性に関する既存の研究は、主に倫理的コンプライアンス、誠実さ、公正さといった問題に焦点を当てているが、実験室の安全性のような安全性に不可欠な現実世界の応用を完全にカバーすることができない。 このギャップに対処するため,Occupational Safety and Health Administration(OSHA)プロトコルに沿った新しい分類基準に基づく総合的な評価枠組みであるLab Safety Benchmark(LabSafety Bench)を提案する。 このベンチマークには、人間の専門家が検証した765の多重選択質問が含まれており、実験室の安全状況下でのLLMとビジョン言語モデル(VLM)のパフォーマンスを評価している。 評価の結果, GPT-4oは人体より優れているが, 安全性に問題のある環境において, LLMに依存するリスクを浮き彫りにしている。 本研究は, LLMの信頼性を精度よく評価するための専門ベンチマークの必要性を強調した。

関連論文リスト

• CFSafety: Comprehensive Fine-grained Safety Assessment for LLMs [4.441767341563709]
  5つの古典的安全シナリオと5種類の命令攻撃を統合した安全評価ベンチマークCFSafetyを導入する。 このテストセットは、大規模言語モデル(LLM)の自然言語生成能力を評価するために使用された。 その結果, GPT-4は安全性能に優れていたが, このモデルを含むLLMの安全性は改善が必要であることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T03:25:20Z)
• SciSafeEval: A Comprehensive Benchmark for Safety Alignment of Large Language Models in Scientific Tasks [36.99233361224705]
  大規模言語モデル(LLM)は、生物学、化学、医学、物理学など、様々な分野の科学的なタスクに変化をもたらした。 既存のベンチマークは主にテキストの内容に焦点を当て、分子、タンパク質、ゲノム言語などの重要な科学的表現を見渡す。 SciSafeEvalは, LLMの安全アライメントを, 様々な科学的タスクで評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-10-02T16:34:48Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
  SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。 11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。 ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
  論文  参考訳（メタデータ） (2023-09-13T15:56:50Z)
• A Survey of Safety and Trustworthiness of Large Language Models through the Lens of Verification and Validation [21.242078120036176]
  大規模言語モデル(LLM)は、エンドユーザーと人間レベルの会話を行う能力のために、AIの新たな熱波を爆発させた。 この調査は、産業応用における安全性と信頼性に関するものである。
  論文  参考訳（メタデータ） (2023-05-19T02:41:12Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。