論文の概要: Generative AI for Biosciences: Emerging Threats and Roadmap to Biosecurity
- arxiv url: http://arxiv.org/abs/2510.15975v2
- Date: Tue, 04 Nov 2025 08:03:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 20:56:29.035814
- Title: Generative AI for Biosciences: Emerging Threats and Roadmap to Biosecurity
- Title（参考訳）: バイオサイエンスのためのジェネレーティブAI - 新たな脅威とバイオセキュリティへの道のり
- Authors: Zaixi Zhang, Souradip Chakraborty, Amrit Singh Bedi, Emilin Mathew, Varsha Saravanan, Le Cong, Alvaro Velasquez, Sheng Lin-Gibson, Megan Blewett, Dan Hendrycs, Alex John London, Ellen Zhong, Ben Raphael, Adji Bousso Dieng, Jian Ma, Eric Xing, Russ Altman, George Church, Mengdi Wang,
- Abstract要約: 生物科学における生成人工知能(GenAI)は、バイオテクノロジー、医学、合成生物学を変革している。
この概要は、バイオサイエンスにおけるGenAIの現状と、脱獄攻撃やプライバシーリスクから、自律的なAIエージェントによって引き起こされるデュアルユースな課題まで、出現する脅威ベクターの概要を概説する。
我々は、厳格なデータフィルタリング、開発中の倫理原則との整合性、有害な要求をブロックするためのリアルタイム監視など、GenAIの安全性に対する多層的なアプローチを提唱する。
- 参考スコア（独自算出の注目度）: 56.331312963880215
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid adoption of generative artificial intelligence (GenAI) in the biosciences is transforming biotechnology, medicine, and synthetic biology. Yet this advancement is intrinsically linked to new vulnerabilities, as GenAI lowers the barrier to misuse and introduces novel biosecurity threats, such as generating synthetic viral proteins or toxins. These dual-use risks are often overlooked, as existing safety guardrails remain fragile and can be circumvented through deceptive prompts or jailbreak techniques. In this Perspective, we first outline the current state of GenAI in the biosciences and emerging threat vectors ranging from jailbreak attacks and privacy risks to the dual-use challenges posed by autonomous AI agents. We then examine urgent gaps in regulation and oversight, drawing on insights from 130 expert interviews across academia, government, industry, and policy. A large majority ($\approx 76$\%) expressed concern over AI misuse in biology, and 74\% called for the development of new governance frameworks. Finally, we explore technical pathways to mitigation, advocating a multi-layered approach to GenAI safety. These defenses include rigorous data filtering, alignment with ethical principles during development, and real-time monitoring to block harmful requests. Together, these strategies provide a blueprint for embedding security throughout the GenAI lifecycle. As GenAI becomes integrated into the biosciences, safeguarding this frontier requires an immediate commitment to both adaptive governance and secure-by-design technologies.
- Abstract（参考訳）: 生物科学における生成人工知能(GenAI)の急速な普及は、バイオテクノロジー、医学、合成生物学を変革している。
しかし、この進歩は、GenAIが誤使用の障壁を低くし、合成ウイルスタンパク質や毒素の生成などの新しいバイオセキュリティの脅威をもたらすため、新しい脆弱性と本質的に関連している。
既存の安全ガードレールは脆弱であり、偽装プロンプトや脱獄技術によって回避できるため、これらの二重使用のリスクは見落とされがちである。
このパースペクティブでは、バイオサイエンスにおけるGenAIの現状と、ジェイルブレイク攻撃やプライバシーリスクから、自律的なAIエージェントによって引き起こされるデュアルユース課題まで、新たな脅威ベクターについて概説する。
次に、規制と監督の緊急のギャップを調査し、学術、政府、産業、政策の130の専門家インタビューから洞察を得た。
大多数(\approx 76$\%)は生物学におけるAIの誤用に対する懸念を表明し、74\%は新しいガバナンスフレームワークの開発を要求した。
最後に、GenAIの安全性に対する多層アプローチを提唱する。
これらの防御策としては、厳格なデータフィルタリング、開発中の倫理原則の遵守、有害な要求をブロックするためのリアルタイム監視などがある。
これらの戦略は、GenAIライフサイクル全体にセキュリティを埋め込むための青写真を提供する。
GenAIがバイオサイエンスに統合されるにつれて、このフロンティアの保護には、適応的なガバナンスと安全な設計技術の両方に直ちにコミットする必要がある。
関連論文リスト
- Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - SoK: Watermarking for AI-Generated Content [112.9218881276487]
ウォーターマーキングスキームは、AI生成コンテンツに隠された信号を埋め込んで、信頼性の高い検出を可能にする。
透かしは、誤情報や偽造と戦ってAIの安全性と信頼性を高める上で重要な役割を果たす。
本研究の目的は、研究者が透かし法や応用の進歩を指導し、GenAIの幅広い意味に対処する政策立案者を支援することである。
論文 参考訳（メタデータ） (2024-11-27T16:22:33Z) - Security of and by Generative AI platforms [0.0]
このホワイトペーパーは、生成AI(genAI)プラットフォームを確保し、サイバーセキュリティにgenAIを活用することの2つの重要性を強調している。
genAI技術の普及に伴い、その誤用はデータ漏洩、モデル改ざん、悪意のあるコンテンツ生成など、重大なリスクをもたらす。
ホワイトペーパーでは、genAIシステムに関する堅牢なセキュリティフレームワークの戦略を探求するとともに、高度なサイバー脅威を予測、検出、緩和する組織にgenAIがどのように力を与えるかを説明している。
論文 参考訳（メタデータ） (2024-10-15T15:27:05Z) - Prioritizing High-Consequence Biological Capabilities in Evaluations of Artificial Intelligence Models [0.0]
AI評価モデルは、高頻度リスクへの対処を優先すべきである、と我々は主張する。
これらのリスクは、パンデミックなど、大衆に大規模な被害をもたらす可能性がある。
二重用途の生物学的リスクを特定し緩和する科学者の経験は、生物学的AIモデルを評価するための新しいアプローチに役立ちます。
論文 参考訳（メタデータ） (2024-05-25T16:29:17Z) - Securing the Future of GenAI: Policy and Technology [50.586585729683776]
政府はGenAIを規制し、イノベーションと安全性のバランスをとるという課題に、世界中で不満を抱いている。
Google、ウィスコンシン大学、マディソン大学、スタンフォード大学が共同で行ったワークショップは、GenAIのポリシーとテクノロジーのギャップを埋めることを目的としていた。
本稿では,技術進歩を妨げることなく,どのように規制を設計できるか,といった問題に対処するワークショップの議論を要約する。
論文 参考訳（メタデータ） (2024-05-21T20:30:01Z) - Review of Generative AI Methods in Cybersecurity [0.6990493129893112]
本稿では、Generative AI(GenAI)の現状について概観する。
暴行、脱獄、即時注射と逆心理学の応用をカバーしている。
また、サイバー犯罪におけるGenAIのさまざまな応用として、自動ハッキング、フィッシングメール、ソーシャルエンジニアリング、リバース暗号、攻撃ペイロードの作成、マルウェアの作成などを提供している。
論文 参考訳（メタデータ） (2024-03-13T17:05:05Z) - The whack-a-mole governance challenge for AI-enabled synthetic biology:
literature review and emerging frameworks [0.0]
AIによる合成生物学は、大きな可能性を秘めているが、バイオリスクも著しく増大している。
将来のAIによるバイオハザードの予防と緩和を可能にする早期警戒システムを実現するには、常に進化する必要がある。
生成AIによって実現されたチャットボットの最近の進歩は、高度な生物学的洞察が悪性個人や組織の手に入りやすいという懸念を復活させた。
論文 参考訳（メタデータ） (2024-02-01T03:53:13Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳（メタデータ） (2023-12-11T18:50:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。