論文の概要: ChemSafetyBench: Benchmarking LLM Safety on Chemistry Domain

• arxiv url: http://arxiv.org/abs/2411.16736v1
• Date: Sat, 23 Nov 2024 12:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:50.690621
• Title: ChemSafetyBench: Benchmarking LLM Safety on Chemistry Domain
• Title（参考訳）: ChemSafetyBench: LLMの安全性をベンチマークする
• Authors: Haochen Zhao, Xiangru Tang, Ziran Yang, Xiao Han, Xuanzhi Feng, Yueqing Fan, Senhao Cheng, Di Jin, Yilun Zhao, Arman Cohan, Mark Gerstein,
• Abstract要約: ChemSafetyBenchは、大規模言語モデル(LLM)の正確性と安全性を評価するために設計されたベンチマークである。 ChemSafetyBenchは、化学特性のクエリ、化学利用の合法性の評価、合成法の記述という3つの重要なタスクを含んでいる。 私たちのデータセットには、様々な化学材料にまたがる30万以上のサンプルがあります。
• 参考スコア（独自算出の注目度）: 28.205744043861756
• License:
• Abstract: The advancement and extensive application of large language models (LLMs) have been remarkable, including their use in scientific research assistance. However, these models often generate scientifically incorrect or unsafe responses, and in some cases, they may encourage users to engage in dangerous behavior. To address this issue in the field of chemistry, we introduce ChemSafetyBench, a benchmark designed to evaluate the accuracy and safety of LLM responses. ChemSafetyBench encompasses three key tasks: querying chemical properties, assessing the legality of chemical uses, and describing synthesis methods, each requiring increasingly deeper chemical knowledge. Our dataset has more than 30K samples across various chemical materials. We incorporate handcrafted templates and advanced jailbreaking scenarios to enhance task diversity. Our automated evaluation framework thoroughly assesses the safety, accuracy, and appropriateness of LLM responses. Extensive experiments with state-of-the-art LLMs reveal notable strengths and critical vulnerabilities, underscoring the need for robust safety measures. ChemSafetyBench aims to be a pivotal tool in developing safer AI technologies in chemistry. Our code and dataset are available at https://github.com/HaochenZhao/SafeAgent4Chem. Warning: this paper contains discussions on the synthesis of controlled chemicals using AI models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩と広範囲の応用は、科学研究への利用を含め、目覚ましい。 しかし、これらのモデルはしばしば科学的に誤った、または安全でない応答を発生させ、場合によっては危険な行動にユーザが関与するよう促すこともある。 化学分野におけるこの問題に対処するため,LLM応答の精度と安全性を評価するためのベンチマークであるChemSafetyBenchを紹介する。 ChemSafetyBenchは、化学特性のクエリ、化学使用の合法性の評価、合成方法の記述という3つの重要なタスクを含んでいる。 私たちのデータセットには、様々な化学材料にまたがる30万以上のサンプルがあります。 手作りのテンプレートと高度なジェイルブレイクシナリオを取り入れ、タスクの多様性を高めます。 自動評価フレームワークは, LLM応答の安全性, 精度, 適切性を徹底的に評価する。 最先端のLLMによる大規模な実験では、顕著な強度と致命的な脆弱性が示され、堅牢な安全対策の必要性が強調されている。 ChemSafetyBenchは、より安全なAI技術を化学で開発するための重要なツールになることを目指している。 私たちのコードとデータセットはhttps://github.com/HaochenZhao/SafeAgent4Chemで公開されています。 警告: 本論文では,AIモデルを用いた制御化学物質の合成について論じる。

関連論文リスト

• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 得られたモデルLibraChemは,Claude-3,GPT-4o,LLaMA-3などのLLMをそれぞれ13.44%,7.16%,7.10%で上回った。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning [64.2106664137118]
  ChemAgentは,大規模言語モデル(LLM)の性能向上を目的とした,新しいフレームワークである。 化学タスクをサブタスクに分解し、これらのサブタスクを将来のクエリに参照可能な構造化されたコレクションにコンパイルすることで開発される。 新しい問題を提示すると、ChemAgentは、私たちがメモリと呼ぶライブラリから関連する情報を検索し、精査する。
  論文  参考訳（メタデータ） (2025-01-11T17:10:30Z)
• SMILES-Prompting: A Novel Approach to LLM Jailbreak Attacks in Chemical Synthesis [12.577741068644077]
  本稿では,化学分野における大規模言語モデル(LLM)のセキュリティ脆弱性について検討する。 我々は,レッドチーム,明示的プロンプト,暗黙的プロンプトなど,いくつかのプロンプトインジェクション攻撃法の有効性を評価する。 本稿では, SMILES-prompting という, 化学物質を参照するための簡易な分子入力線入力システム (SMILES) を用いた新しい攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T05:01:50Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [80.45174785447136]
  実験室の事故は人命と財産に重大なリスクをもたらす。 安全訓練の進歩にもかかわらず、実験員はいまだに無意識に安全でない慣行に従事している可能性がある。 様々な分野におけるガイダンスのための大きな言語モデル(LLM)に対する懸念が高まっている。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• SciSafeEval: A Comprehensive Benchmark for Safety Alignment of Large Language Models in Scientific Tasks [36.99233361224705]
  大規模言語モデル(LLM)は、生物学、化学、医学、物理学など、様々な分野の科学的なタスクに変革をもたらす。 既存のベンチマークは主にテキストの内容に焦点を当て、分子、タンパク質、ゲノム言語などの重要な科学的表現を見渡す。 SciSafeEvalは, LLMの安全アライメントを, 様々な科学的タスクで評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-10-02T16:34:48Z)
• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• Are large language models superhuman chemists? [4.87961182129702]
  大規模言語モデル(LLM)は、人間の言語を処理し、明示的に訓練されていないタスクを実行する能力によって、広く関心を集めている。 本稿では,最新のLCMの化学知識と推論能力を評価する自動化フレームワークであるChemBenchを紹介する。 我々は2700以上の質問応答ペアをキュレートし、主要なオープンソースとクローズドソースのLCMを評価し、最良のモデルが最高の化学者より優れていることを発見した。
  論文  参考訳（メタデータ） (2024-04-01T20:56:25Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。