論文の概要: Control Risk for Potential Misuse of Artificial Intelligence in Science
- arxiv url: http://arxiv.org/abs/2312.06632v1
- Date: Mon, 11 Dec 2023 18:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:19:46.893135
- Title: Control Risk for Potential Misuse of Artificial Intelligence in Science
- Title（参考訳）: 科学における人工知能の悪用の可能性に関する制御リスク
- Authors: Jiyan He, Weitao Feng, Yaosen Min, Jingwei Yi, Kunsheng Tang, Shuai
Li, Jie Zhang, Kejiang Chen, Wenbo Zhou, Xing Xie, Weiming Zhang, Nenghai Yu,
Shuxin Zheng
- Abstract要約: 我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
- 参考スコア（独自算出の注目度）: 85.91232985405554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expanding application of Artificial Intelligence (AI) in scientific
fields presents unprecedented opportunities for discovery and innovation.
However, this growth is not without risks. AI models in science, if misused,
can amplify risks like creation of harmful substances, or circumvention of
established regulations. In this study, we aim to raise awareness of the
dangers of AI misuse in science, and call for responsible AI development and
use in this domain. We first itemize the risks posed by AI in scientific
contexts, then demonstrate the risks by highlighting real-world examples of
misuse in chemical science. These instances underscore the need for effective
risk management strategies. In response, we propose a system called SciGuard to
control misuse risks for AI models in science. We also propose a red-teaming
benchmark SciMT-Safety to assess the safety of different systems. Our proposed
SciGuard shows the least harmful impact in the assessment without compromising
performance in benign tests. Finally, we highlight the need for a
multidisciplinary and collaborative effort to ensure the safe and ethical use
of AI models in science. We hope that our study can spark productive
discussions on using AI ethically in science among researchers, practitioners,
policymakers, and the public, to maximize benefits and minimize the risks of
misuse.
- Abstract（参考訳）: 科学分野における人工知能(AI)の応用は、発見と革新の先例のない機会を示している。
しかし、この成長にはリスクはない。
科学におけるaiモデルは、悪質物質の生成や確立された規制の回避といったリスクを増幅することができる。
本研究では、科学におけるAI誤用の危険性の認識を高め、この分野におけるAI開発と利用の責任を負うことを目的とする。
まず、科学的な文脈でAIが引き起こすリスクを考察し、化学科学における誤用の実例を強調することでリスクを実証する。
これらのインスタンスは、効果的なリスク管理戦略の必要性を強調するものだ。
そこで我々は,科学におけるAIモデルの誤用リスクを制御するシステムSciGuardを提案する。
また、異なるシステムの安全性を評価するために、赤チームベンチマークSciMT-Safetyを提案する。
提案したSciGuardは,良性試験の性能を損なうことなく,評価に最も有害な影響を示す。
最後に、科学におけるAIモデルの安全かつ倫理的利用を保証するために、複数の学際的かつ協力的な取り組みの必要性を強調します。
我々の研究は、研究者、実践者、政策立案者、そして一般の人々の間で、AIを科学で倫理的に使用することについて生産的な議論を引き起こし、利益を最大化し、誤用のリスクを最小限にすることを期待している。
関連論文リスト
- Prioritizing High-Consequence Biological Capabilities in Evaluations of Artificial Intelligence Models [0.0]
AI評価モデルは、高頻度リスクへの対処を優先すべきである、と我々は主張する。
これらのリスクは、パンデミックなど、大衆に大規模な被害をもたらす可能性がある。
二重用途の生物学的リスクを特定し緩和する科学者の経験は、生物学的AIモデルを評価するための新しいアプローチに役立ちます。
論文 参考訳（メタデータ） (2024-05-25T16:29:17Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳（メタデータ） (2024-05-14T13:37:36Z) - Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳（メタデータ） (2024-04-25T21:14:24Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳（メタデータ） (2024-02-06T18:54:07Z) - Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文 参考訳（メタデータ） (2023-11-16T16:09:44Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries [0.0]
OpenAI、Google DeepMind、Anthhropicといった企業は、人工知能(AGI)の構築を目標としている。
AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
本稿では,他の安全クリティカル産業のリスクアセスメント技術についてレビューし,AGI企業が活用する方法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:36:51Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳（メタデータ） (2023-06-21T03:35:06Z) - X-Risk Analysis for AI Research [24.78742908726579]
我々は、AI x-riskの分析方法のガイドを提供する。
まず、今日のシステムの安全性についてレビューする。
次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
論文 参考訳（メタデータ） (2022-06-13T00:22:50Z) - The Offense-Defense Balance of Scientific Knowledge: Does Publishing AI
Research Reduce Misuse? [0.0]
人工知能(AI)研究の誤用に関する懸念が高まっている。
科学研究の出版は技術の誤用を助長するが、この研究は誤用に対する保護にも貢献する。
本稿ではこれらの2つの効果のバランスについて述べる。
論文 参考訳（メタデータ） (2019-12-27T10:20:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。