論文の概要: Control Risk for Potential Misuse of Artificial Intelligence in Science
- arxiv url: http://arxiv.org/abs/2312.06632v1
- Date: Mon, 11 Dec 2023 18:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:19:46.893135
- Title: Control Risk for Potential Misuse of Artificial Intelligence in Science
- Title(参考訳): 科学における人工知能の悪用の可能性に関する制御リスク
- Authors: Jiyan He, Weitao Feng, Yaosen Min, Jingwei Yi, Kunsheng Tang, Shuai
Li, Jie Zhang, Kejiang Chen, Wenbo Zhou, Xing Xie, Weiming Zhang, Nenghai Yu,
Shuxin Zheng
- Abstract要約: 我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。
化学科学における誤用の実例を取り上げる。
我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
- 参考スコア(独自算出の注目度): 85.91232985405554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expanding application of Artificial Intelligence (AI) in scientific
fields presents unprecedented opportunities for discovery and innovation.
However, this growth is not without risks. AI models in science, if misused,
can amplify risks like creation of harmful substances, or circumvention of
established regulations. In this study, we aim to raise awareness of the
dangers of AI misuse in science, and call for responsible AI development and
use in this domain. We first itemize the risks posed by AI in scientific
contexts, then demonstrate the risks by highlighting real-world examples of
misuse in chemical science. These instances underscore the need for effective
risk management strategies. In response, we propose a system called SciGuard to
control misuse risks for AI models in science. We also propose a red-teaming
benchmark SciMT-Safety to assess the safety of different systems. Our proposed
SciGuard shows the least harmful impact in the assessment without compromising
performance in benign tests. Finally, we highlight the need for a
multidisciplinary and collaborative effort to ensure the safe and ethical use
of AI models in science. We hope that our study can spark productive
discussions on using AI ethically in science among researchers, practitioners,
policymakers, and the public, to maximize benefits and minimize the risks of
misuse.
- Abstract(参考訳): 科学分野における人工知能(AI)の応用は、発見と革新の先例のない機会を示している。
しかし、この成長にはリスクはない。
科学におけるaiモデルは、悪質物質の生成や確立された規制の回避といったリスクを増幅することができる。
本研究では、科学におけるAI誤用の危険性の認識を高め、この分野におけるAI開発と利用の責任を負うことを目的とする。
まず、科学的な文脈でAIが引き起こすリスクを考察し、化学科学における誤用の実例を強調することでリスクを実証する。
これらのインスタンスは、効果的なリスク管理戦略の必要性を強調するものだ。
そこで我々は,科学におけるAIモデルの誤用リスクを制御するシステムSciGuardを提案する。
また、異なるシステムの安全性を評価するために、赤チームベンチマークSciMT-Safetyを提案する。
提案したSciGuardは,良性試験の性能を損なうことなく,評価に最も有害な影響を示す。
最後に、科学におけるAIモデルの安全かつ倫理的利用を保証するために、複数の学際的かつ協力的な取り組みの必要性を強調します。
我々の研究は、研究者、実践者、政策立案者、そして一般の人々の間で、AIを科学で倫理的に使用することについて生産的な議論を引き起こし、利益を最大化し、誤用のリスクを最小限にすることを期待している。
関連論文リスト
- Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Towards more Practical Threat Models in Artificial Intelligence Security [71.53333444240076]
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - The Promise and Peril of Artificial Intelligence -- Violet Teaming
Offers a Balanced Path Forward [56.16884466478886]
本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。
信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。
それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
論文 参考訳(メタデータ) (2023-08-28T02:10:38Z) - Risk assessment at AGI companies: A review of popular risk assessment
techniques from other safety-critical industries [0.0]
OpenAI、Google DeepMind、Anthhropicといった企業は、人工知能(AGI)の構築を目標としている。
AGIが壊滅的なリスクをもたらすとの懸念が高まっている。
本稿では,他の安全クリティカル産業のリスクアセスメント技術についてレビューし,AGI企業が活用する方法を提案する。
論文 参考訳(メタデータ) (2023-07-17T20:36:51Z) - The Future of Fundamental Science Led by Generative Closed-Loop
Artificial Intelligence [67.70415658080121]
機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。
AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。
ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
論文 参考訳(メタデータ) (2023-07-09T21:16:56Z) - An Overview of Catastrophic AI Risks [38.84933208563934]
本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。
個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。
組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています
不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
論文 参考訳(メタデータ) (2023-06-21T03:35:06Z) - X-Risk Analysis for AI Research [24.78742908726579]
我々は、AI x-riskの分析方法のガイドを提供する。
まず、今日のシステムの安全性についてレビューする。
次に,今後のシステムの安全性に長期的影響を与える戦略について議論する。
論文 参考訳(メタデータ) (2022-06-13T00:22:50Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳(メタデータ) (2022-02-28T18:27:41Z) - Ethical Considerations for AI Researchers [0.0]
人工知能の利用は、人々の生活に影響を与えるアプリケーションへと成長し、拡大しています。
害の可能性を秘めており、すでに世界中でその例が見られます。
AIの倫理は明確なものではないが、私たちが導入する影響を最小限に抑えるためのガイドラインがある。
論文 参考訳(メタデータ) (2020-06-13T04:31:42Z) - The Offense-Defense Balance of Scientific Knowledge: Does Publishing AI
Research Reduce Misuse? [0.0]
人工知能(AI)研究の誤用に関する懸念が高まっている。
科学研究の出版は技術の誤用を助長するが、この研究は誤用に対する保護にも貢献する。
本稿ではこれらの2つの効果のバランスについて述べる。
論文 参考訳(メタデータ) (2019-12-27T10:20:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。