論文の概要: Prioritizing High-Consequence Biological Capabilities in Evaluations of Artificial Intelligence Models
- arxiv url: http://arxiv.org/abs/2407.13059v2
- Date: Tue, 23 Jul 2024 01:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 21:54:39.977675
- Title: Prioritizing High-Consequence Biological Capabilities in Evaluations of Artificial Intelligence Models
- Title（参考訳）: 人工知能モデル評価における高精度生物学的能力の優先順位付け
- Authors: Jaspreet Pannu, Doni Bloomfield, Alex Zhu, Robert MacKnight, Gabe Gomes, Anita Cicero, Thomas V. Inglesby,
- Abstract要約: AI評価モデルは、高頻度リスクへの対処を優先すべきである、と我々は主張する。
これらのリスクは、パンデミックなど、大衆に大規模な被害をもたらす可能性がある。
二重用途の生物学的リスクを特定し緩和する科学者の経験は、生物学的AIモデルを評価するための新しいアプローチに役立ちます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As a result of rapidly accelerating AI capabilities, over the past year, national governments and multinational bodies have announced efforts to address safety, security and ethics issues related to AI models. One high priority among these efforts is the mitigation of misuse of AI models. Many biologists have for decades sought to reduce the risks of scientific research that could lead, through accident or misuse, to high-consequence disease outbreaks. Scientists have carefully considered what types of life sciences research have the potential for both benefit and risk (dual-use), especially as scientific advances have accelerated our ability to engineer organisms and create novel variants of pathogens. Here we describe how previous experience and study by scientists and policy professionals of dual-use capabilities in the life sciences can inform risk evaluations of AI models with biological capabilities. We argue that AI model evaluations should prioritize addressing high-consequence risks (those that could cause large-scale harm to the public, such as pandemics), and that these risks should be evaluated prior to model deployment so as to allow potential biosafety and/or biosecurity measures. Scientists' experience with identifying and mitigating dual-use biological risks can help inform new approaches to evaluating biological AI models. Identifying which AI capabilities post the greatest biosecurity and biosafety concerns is necessary in order to establish targeted AI safety evaluation methods, secure these tools against accident and misuse, and avoid impeding immense potential benefits.
- Abstract（参考訳）: AIの能力が急速に向上した結果、過去1年間で、国家政府と多国籍機関は、AIモデルに関連する安全、セキュリティ、倫理問題に対処する取り組みを発表した。
これらの取り組みの中で最優先事項の1つは、AIモデルの誤用を軽減することである。
何十年もの間、多くの生物学者は、事故や誤用から高頻度の病気の発生に至る科学的研究のリスクを減らそうとしてきた。
科学者たちは、生命科学の研究が利益とリスク(二重利用)の両方をもたらす可能性について慎重に検討してきた。
ここでは、生命科学における二重利用能力の科学者や政策専門家による過去の経験と研究が、生物学的能力を持つAIモデルのリスク評価にどのように影響を与えるかを説明する。
AIモデルの評価は、高頻度リスク(パンデミックのような大規模な害を引き起こす可能性のあるもの)に対処することを優先すべきであり、これらのリスクは、潜在的なバイオセーフティやバイオセキュリティ対策を可能にするために、モデル展開前に評価されるべきである、と我々は主張する。
二重用途の生物学的リスクを特定し緩和する科学者の経験は、生物学的AIモデルを評価するための新しいアプローチに役立ちます。
目標とするAI安全性評価方法を確立し、これらのツールを事故や誤用から保護し、潜在的なメリットを妨げることを避けるためには、どのAI能力が最大のバイオセキュリティとバイオセーフティの懸念を投稿しているかを特定する必要がある。
関連論文リスト
- A Trilogy of AI Safety Frameworks: Paths from Facts and Knowledge Gaps to Reliable Predictions and New Knowledge [0.0]
AI安全は、AIコミュニティ内外の多くの科学者にとって重要な最前線の関心事となっている。
機械学習システムには、生存リスクから人間の存在、深い偽造、偏見まで、すぐに、長期にわたって予測されるリスクが数多く存在する。
論文 参考訳（メタデータ） (2024-10-09T14:43:06Z) - Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - Evaluating Frontier Models for Dangerous Capabilities [59.129424649740855]
危険な能力」の評価プログラムを導入し、Gemini 1.0モデルで試行する。
評価対象は,(1)説得と騙し,(2)サイバーセキュリティ,(3)自己増殖,(4)自己推論の4分野である。
我々の目標は、将来のモデルに備えて、危険な能力評価の厳格な科学を前進させることです。
論文 参考訳（メタデータ） (2024-03-20T17:54:26Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳（メタデータ） (2024-02-06T18:54:07Z) - The whack-a-mole governance challenge for AI-enabled synthetic biology:
literature review and emerging frameworks [0.0]
AIによる合成生物学は、大きな可能性を秘めているが、バイオリスクも著しく増大している。
将来のAIによるバイオハザードの予防と緩和を可能にする早期警戒システムを実現するには、常に進化する必要がある。
生成AIによって実現されたチャットボットの最近の進歩は、高度な生物学的洞察が悪性個人や組織の手に入りやすいという懸念を復活させた。
論文 参考訳（メタデータ） (2024-02-01T03:53:13Z) - Towards Risk Analysis of the Impact of AI on the Deliberate Biological Threat Landscape [0.0]
生物工学と人工知能の融合によって生物リスクが増大する可能性があるという認識は、バイオテクノロジーと人工知能のガバナンスに注意を向けている。
2023年、人工知能の安全、安全、信頼に足る開発と利用に関する執行命令は、人工知能がバイオリスクをいかに高めるかを評価する必要がある。
この視点は、評価手法と評価手法が、生命科学におけるAIの進歩に追随しなければならないことを指摘して結論付けている。
論文 参考訳（メタデータ） (2024-01-23T13:35:16Z) - Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
論文 参考訳（メタデータ） (2023-12-11T18:50:57Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - The Future of Fundamental Science Led by Generative Closed-Loop
Artificial Intelligence [67.70415658080121]
機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。
AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。
ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
論文 参考訳（メタデータ） (2023-07-09T21:16:56Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳（メタデータ） (2022-09-13T21:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。