論文の概要: DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design

• arxiv url: http://arxiv.org/abs/2610.13116v1
• Date: Fri, 09 Oct 2026 07:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.445986
• Title: DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design
• Title（参考訳）: DRYLAB-Bench: エージェントLDM変異設計におけるバイオセキュリティリスクのベンチマーク
• Abstract要約: DRYLAB-Benchは、LSMエージェントのリスクの高い生物学的変異設計能力を評価する最初の包括的なベンチマークである。 バイオセキュリティガイドラインから抽出した、真に有害な突然変異設計シナリオを30件のエージェントで処理する。 これは、ProteinGymとViroGymから187,695個の実験的なウェットラブの測定結果と直接比較する。
• 参考スコア（独自算出の注目度）: 29.833120803242497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) acquire advanced biological design capabilities, they offer substantial research benefits but simultaneously introduce severe dual-use risks, such as engineering enhanced pathogens or drug-resistant bacteria. While biosecurity frameworks recognize these threats, the actual risk of LLMs executing dangerous biological modifications remains unquantified, particularly when augmented with specialized biological design tools (BDTs). Existing evaluations primarily assess hazardous knowledge possession rather than practical application, overlook risk amplification from BDTs, and rely on unreliable, expensive, or hazardous validation methods. To address these gaps, we introduce DRYLAB-Bench (Design Risk Yielded by LLM Agent in Biodesign), the first comprehensive benchmark evaluating the high-risk biological mutation design capabilities of LLM agents. Moving beyond basic question-answering, DRYLAB-Bench tasks agents with 30 genuinely hazardous mutation-design scenarios distilled from biosecurity guidelines. It evaluates models in a multi-round, tool-augmented environment where LLMs orchestrate BDTs to iteratively refine candidates. Crucially, it scores designs directly against 187,695 empirical wet-lab measurements from ProteinGym and ViroGym using our proposed Biosecurity Risk Score (BRS), quantifying risk-associated effects while enabling scalable and safe ground-truth verification. Evaluations of 15 frontier models reveal substantial baseline threats: without tools, 67.6% of one-shot designs exceed the average measured variant, and 21.4% reach the highest-risk decile. Equipping models with BDTs significantly amplifies this risk, raising the pooled risk by \(ΔBRS=+0.116\) and the top-decile share to 23.5%. Code: https://github.com/drylab-bio/DRYLAB-Bench
• Abstract（参考訳）: 大規模言語モデル (LLM) が高度な生物学的設計能力を得るにつれて、研究上の利点を提供する一方で、工学的に強化された病原体や薬剤耐性菌のような重度の二重使用リスクも同時に導入する。 バイオセキュリティフレームワークはこれらの脅威を認識しているが、特に特殊な生物学的設計ツール(BDT)で強化された場合、LLMが危険な生物学的修正を行う実際のリスクは未定のままである。 既存の評価は主に、実用的ではなく、有害な知識の所有を評価し、BDTからのリスク増幅を見落とし、信頼性の低い、高価な、あるいは有害な検証方法に依存している。 DRYLAB-Bench (Design Risk Yielded by LLM Agent in Biodesign) は, LLMエージェントの高リスク生物学的変異設計能力を評価するための総合的なベンチマークである。 基本的な質問応答を超えて、DRYLAB-Benchのタスクエージェントは、バイオセキュリティガイドラインから抽出された、真に有害な30の突然変異設計シナリオを持つ。 LLMがBDTを編成し、反復的に候補を洗練するマルチラウンドツール拡張環境でモデルを評価する。 重要な点として、提案したバイオセキュリティリスクスコア(BRS)を用いて、ProteinGymとViroGymによる187,695個の実験的なウェットラブ測定に対して、設計を直接評価する。 15のフロンティアモデルの評価では、ツール無しで67.6%のワンショットデザインが測定された平均値を超え、21.4%が最もリスクの高いデシラに達するという重大なベースラインの脅威が示される。 BDTを用いたモデルの導入は、このリスクを著しく増幅し、プールされたリスクを \ (ΔBRS=+0.116\) 増加させ、最上位のシェアを 23.5% に引き上げる。 コード:https://github.com/drylab-bio/DRYLAB-Bench

関連論文リスト

• A Blind Spot in Alignment: Quantifying Biosecurity Risks in Large Language Models [24.33428502712115]
  大きな言語モデル(LLM)は生物学的研究を加速しているが、この能力は重要なバイオセキュリティの脅威をもたらす。 現在の安全性評価は自然言語で行われており、モデル生成アミノ酸配列が生物学的ジベリッシュかどうかを判断できない。 LLMのより厳密なバイオセキュリティ評価を支援するために,SPIKE-BenchとBioSafe-Guardをリリースする。
  論文  参考訳（メタデータ） (2026-08-03T03:51:19Z)
• An Early Warning of Emerging Biosecurity Risks in Frontier LLMs [62.01705276160883]
  Intern-BioBreakerは、特殊な生体赤チームモデルであり、計算と物理を統合したフレームワークである。 このフレームワーク内では、Intern-BioBreakerがターゲットのjailbreakプロンプトを生成して、アライメントされたモデルを誘導して運用ガイダンスを提供することができるかどうかをテストする。 本評価では,テキストレベルの保護と,有能な科学モデルによるリスクとのギャップを明らかにする。
  論文  参考訳（メタデータ） (2026-07-20T15:26:23Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
  大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。 このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。 実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)
• Artificial intelligence and biological misuse: Differentiating risks of language models and biological design tools [0.0]
  本稿では,大規模言語モデル(LLM)と生物設計ツール(BDT)の2種類のAIツールを区別する。
  論文  参考訳（メタデータ） (2023-06-24T12:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。