論文の概要: An Early Warning of Emerging Biosecurity Risks in Frontier LLMs
- arxiv url: http://arxiv.org/abs/2607.18056v1
- Date: Mon, 20 Jul 2026 15:26:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.677421
- Title: An Early Warning of Emerging Biosecurity Risks in Frontier LLMs
- Title(参考訳): バイオセキュリティリスクの早期警戒
- Authors: Zhida He, Xia Hu, Baichen Le, Chunxiao Li, Jiajia Li, Lijun Li, Chaochao Lu, Jing Shao, Youbang Sun, Hua Tang, Xiang Wang, Xiao Wang, Xiaoyu Wen, Tong Wu, Jia Xu, Peng Yu, Shu Yu, Jie Zhang, Qiaosheng Zhang, Yi Zhang, Xing-Ming Zhao, Tianhang Zheng, Ziyuan Zhou,
- Abstract要約: Intern-BioBreakerは、特殊な生体赤チームモデルであり、計算と物理を統合したフレームワークである。
このフレームワーク内では、Intern-BioBreakerがターゲットのjailbreakプロンプトを生成して、アライメントされたモデルを誘導して運用ガイダンスを提供することができるかどうかをテストする。
本評価では,テキストレベルの保護と,有能な科学モデルによるリスクとのギャップを明らかにする。
- 参考スコア(独自算出の注目度): 62.01705276160883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier large language models (LLMs) are increasingly integrated into scientific workflows, yet their growing biological capabilities may outpace current safeguards. To assess the biological risks of frontier models, we develop Intern-BioBreaker, a specialized bio-red-teaming model, together with an integrated computational-to-physical framework that couples model-level stress testing with wet-lab validation. Within this framework, Intern-BioBreaker generates targeted jailbreak prompts to test whether aligned models can be induced to provide operational guidance for safety-sensitive biological tasks or produce sequence-level outputs with potentially harmful properties. Selected sequence outputs are then carried forward for DNA synthesis, host expression, and orthogonal protein verification to assess whether model-generated designs can yield the intended biological products. Our evaluation reveals a concerning gap between text-level safeguards and the risks posed by capable scientific models: (i) Intern-BioBreaker outperforms baseline attack models and reveals widespread bio-risk jailbreak vulnerabilities across both open-weight and proprietary frontier LLMs, with several targets reaching near-saturated or 100% task-level attack success rate (ASR); (ii) in sequence-level case studies, GPT-5.5 can be induced to generate modified viral candidate sequences with pathogenic potential; the corresponding translated proteins may exhibit even stronger receptor-binding affinity and thus enhanced infection potential; and (iii) end-to-end verification shows that selected model-generated biological designs are not merely textual artifacts, but can be physically realized under controlled experimental settings. These findings underscore the need for stronger biological red-teaming, nucleic acid synthesis screening, and safety mechanisms that keep pace with model capabilities.
- Abstract(参考訳): 最前線の大規模言語モデル(LLM)は、科学的なワークフローにますます統合されているが、その生物学的能力の増大は、現在の安全を上回っている。
本研究では,フロンティアモデルの生物学的リスクを評価するために,モデルレベルストレステストとウェットラブバリデーションを併用した,特殊なバイオレッドチームモデルであるIntern-BioBreakerを開発した。
このフレームワーク内で、Intern-BioBreakerは、安全に敏感な生物学的タスクの運用ガイダンスを提供するために、アライメントされたモデルを誘導するか、潜在的に有害な特性を持つシーケンスレベルのアウトプットを生成するために、ターゲットのjailbreakプロンプトを生成する。
選択された配列の出力はDNA合成、宿主発現、直交タンパク質の検証のために進行し、モデルが生成した設計が意図した生物学的産物を生産できるかどうかを評価する。
我々の評価では、テキストレベルの保護と有能な科学モデルによるリスクとのギャップが明らかになっている。
i)Intern-Breakerはベースライン攻撃モデルより優れており、オープンウェイトとプロプライエタリフロンティアの両方で幅広いバイオリスク・ジェイルブレイクの脆弱性を示し、いくつかの目標がほぼ飽和または100%タスクレベルの攻撃成功率(ASR)に達する。
(ii) 配列レベルのケーススタディにおいて、GPT-5.5は病原性電位を持つ改変ウイルス候補配列を生成するために誘導され、対応する翻訳タンパク質はさらに強い受容体結合親和性を示し、感染ポテンシャルを増強することができる。
三 エンド・ツー・エンドの検証は、選択されたモデル生成生物学的デザインが単なる人工物であるだけでなく、制御された実験環境下で物理的に実現可能であることを示す。
これらの知見は、より強力な生物学的赤チーム、核酸合成スクリーニング、モデル能力に追従する安全性メカニズムの必要性を浮き彫りにした。
関連論文リスト
- Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。
我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。
我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
論文 参考訳(メタデータ) (2026-06-17T11:42:01Z) - ViroBench: Benchmarking Nucleotide Foundation Models on Viral Genomics Tasks [86.89727311669937]
我々は、ヌクレオチド基礎モデル(NFM)に特化して設計された最初の包括的かつ大規模ベンチマークであるViroBenchを紹介する。
ViroBench氏は、生物学的理解と潜伏するバイオセキュリティリスクという、2つの重要な側面にわたるモデルを評価し、4つのタスクタイプ内の18のさまざまなシナリオをカバーしている。
ViroBenchは、ウイルスヌクレオチド基盤モデルの研究のための解釈可能、診断的評価および再現可能な測定フレームワークを提供する。
論文 参考訳(メタデータ) (2026-05-25T03:31:46Z) - Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models I: The Task-Query Architecture [0.38186458149494623]
本稿では,Biothreat Benchmark Generation (BBG)フレームワークの最初のコンポーネントについて述べる。
BBGアプローチは、既存のAIモデルと将来のAIモデルのバイオセキュリティリスク上昇と一般的な害ポテンシャルを、モデル開発者と評価者が確実に測定し評価するのに役立つように設計されている。
パイロットとして、BBGは細菌の生物学的脅威にのみ対処するために開発された。
論文 参考訳(メタデータ) (2025-12-09T00:16:44Z) - Best Practices for Biorisk Evaluations on Open-Weight Bio-Foundation Models [24.414900360499548]
オープンウェイトなバイオファウンデーションモデルは、悪いアクターがより致命的なバイオ兵器を開発することを可能にする。
現在のアプローチでは、事前トレーニング中にバイオハザードデータをフィルタリングすることに重点を置いている。
BioRiskEvalは、バイオ境界モデルの二重利用能力を減らすことを目的としたプロシージャの堅牢性を評価するためのフレームワークである。
論文 参考訳(メタデータ) (2025-10-31T17:00:20Z) - Resilient Biosecurity in the Era of AI-Enabled Bioweapons [0.0]
既存のバイオセーフティ対策は、危険な出力を検出するために配列アライメントとタンパク質とタンパク質の相互作用予測に依存している。
The performance of three leading PPI prediction tools: AlphaFold 3, AF3complex and SpatialPPIv2。
いずれも実験的に検証された4つのSARS-CoV-2変異株の1つを同定できなかった。
論文 参考訳(メタデータ) (2025-08-30T18:09:04Z) - Conditional Chemical Language Models are Versatile Tools in Drug Discovery [0.0]
分子の優先順位を決定するための生物学的文脈を規定する化学モデリングフレームワークSAFE-Tを提案する。
仮想スクリーニング、ドラッグ・ターゲット相互作用予測、アクティビティ・崖検出などのタスク間で分子のスコアリングがサポートされている。
既存のアプローチに匹敵するパフォーマンスを継続的に達成します。
論文 参考訳(メタデータ) (2025-07-14T13:42:39Z) - GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。
DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。
また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
論文 参考訳(メタデータ) (2025-02-11T05:39:49Z) - Biomanufacturing Harvest Optimization with Small Data [3.8447683272775586]
発酵過程におけるタンパク質の蓄積と不純物濃度を特徴付けるモデルを導入する。
業界における一般的な課題は、非常に限られた量のデータしか利用できないことだ。
本研究では, 発酵プロセスの収穫決定(すなわち, 発酵を止めて生産報酬を回収するタイミング)について, モデルリスク下で検討する。
論文 参考訳(メタデータ) (2021-01-11T07:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。