論文の概要: Contemporary AI foundation models increase biological weapons risk

• arxiv url: http://arxiv.org/abs/2506.13798v1
• Date: Thu, 12 Jun 2025 19:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.147589
• Title: Contemporary AI foundation models increase biological weapons risk
• Title（参考訳）: 現代のAIファンデーションモデルは生物兵器のリスクを増大させる
• Authors: Roger Brent, T. Greg McKelvey Jr,
• Abstract要約: 我々は、現在の基礎となるAIモデルは、生物兵器開発を促進するリスクを過小評価している。 我々は、大きな言語モデルが言葉で表現できる生物兵器開発における「成功の要素」を同定する。 我々は改良されたベンチマークを提唱する一方で、意味のある実装の窓が既に閉じているかもしれないことを認めている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid advancement of artificial intelligence has raised concerns about its potential to facilitate biological weapons development. We argue existing safety assessments of contemporary foundation AI models underestimate this risk, largely due to flawed assumptions and inadequate evaluation methods. First, assessments mistakenly assume biological weapons development requires tacit knowledge, or skills gained through hands-on experience that cannot be easily verbalized. Second, they rely on imperfect benchmarks that overlook how AI can uplift both nonexperts and already-skilled individuals. To challenge the tacit knowledge assumption, we examine cases where individuals without formal expertise, including a 2011 Norwegian ultranationalist who synthesized explosives, successfully carried out complex technical tasks. We also review efforts to document pathogen construction processes, highlighting how such tasks can be conveyed in text. We identify "elements of success" for biological weapons development that large language models can describe in words, including steps such as acquiring materials and performing technical procedures. Applying this framework, we find that advanced AI models Llama 3.1 405B, ChatGPT-4o, and Claude 3.5 Sonnet can accurately guide users through the recovery of live poliovirus from commercially obtained synthetic DNA, challenging recent claims that current models pose minimal biosecurity risk. We advocate for improved benchmarks, while acknowledging the window for meaningful implementation may have already closed.
• Abstract（参考訳）: 人工知能の急速な進歩は、生物兵器開発を促進する可能性を懸念している。 我々は、現代のAIモデルの既存の安全性評価は、主に不足した仮定と不適切な評価方法のために、このリスクを過小評価していると論じる。 第一に、生物兵器の開発には暗黙の知識や、簡単には口頭で話すことができない経験を通じて得られるスキルが欠かせないと誤って仮定する。 第二に、AIが非専門家とすでに熟練した個人の両方を昇華する方法を見落としている不完全なベンチマークに頼っている。 そこで我々は, 爆発物を合成した2011年ノルウェーの超国家主義者を含む, 正式な専門知識を持たない個人が, 複雑な技術的タスクをうまく遂行した事例について検討した。 また、病原体構築プロセスの文書化にも取り組み、このようなタスクをテキストでどのように伝達できるかを強調した。 我々は,大規模言語モデルが言葉で表現できる生物兵器開発における「成功の要素」を同定する。 このフレームワークを適用すると、先進的なAIモデルであるLlama 3.1 405B、ChatGPT-4o、Claude 3.5 Sonnetが、商業的に得られた合成DNAから生きたポリオウイルスを回収することで、ユーザを正確に誘導できることが分かる。 我々は改良されたベンチマークを提唱する一方で、意味のある実装の窓が既に閉じているかもしれないことを認めている。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• The Elicitation Game: Evaluating Capability Elicitation Techniques [1.064108398661507]
  本研究は, モデル生物を意図的に訓練し, 能力評価手法の有効性を評価する。 本稿では, 回路破壊に基づくモデル生物の訓練手法を提案する。 コード生成タスクでは、ファインチューニングだけが、新しいモデル生物の隠れた能力を引き出すことができます。
  論文  参考訳（メタデータ） (2025-02-04T09:54:24Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Generative AI for Health Technology Assessment: Opportunities, Challenges, and Policy Considerations [12.73011921253]
  本稿では、医療技術評価(HTA)のための生成人工知能(AI)と大規模言語モデル(LLM)を含む基礎モデルについて紹介する。 本研究は, 4つの重要な領域, 合成証拠, 証拠生成, 臨床試験, 経済モデリングにおける応用について検討する。 約束にもかかわらず、これらの技術は急速に改善されているものの、まだ初期段階にあり、HTAへの適用には慎重な評価が引き続き必要である。
  論文  参考訳（メタデータ） (2024-07-09T09:25:27Z)
• Prioritizing High-Consequence Biological Capabilities in Evaluations of Artificial Intelligence Models [0.0]
  AI評価モデルは、高頻度リスクへの対処を優先すべきである、と我々は主張する。 これらのリスクは、パンデミックなど、大衆に大規模な被害をもたらす可能性がある。 二重用途の生物学的リスクを特定し緩和する科学者の経験は、生物学的AIモデルを評価するための新しいアプローチに役立ちます。
  論文  参考訳（メタデータ） (2024-05-25T16:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。