論文の概要: Identifying and Mitigating the Security Risks of Generative AI
- arxiv url: http://arxiv.org/abs/2308.14840v1
- Date: Mon, 28 Aug 2023 18:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:57:56.571644
- Title: Identifying and Mitigating the Security Risks of Generative AI
- Title(参考訳): 生成AIのセキュリティリスクの特定と修正
- Authors: Clark Barrett, Brad Boyd, Ellie Burzstein, Nicholas Carlini, Brad
Chen, Jihye Choi, Amrita Roy Chowdhury, Mihai Christodorescu, Anupam Datta,
Soheil Feizi, Kathleen Fisher, Tatsunori Hashimoto, Dan Hendrycks, Somesh
Jha, Daniel Kang, Florian Kerschbaum, Eric Mitchell, John Mitchell, Zulfikar
Ramzan, Khawaja Shams, Dawn Song, Ankur Taly, Diyi Yang
- Abstract要約: 本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。
GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。
この話題について,コミュニティの短期的,長期的目標について論じる。
- 参考スコア(独自算出の注目度): 179.2384121957896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Every major technical invention resurfaces the dual-use dilemma -- the new
technology has the potential to be used for good as well as for harm.
Generative AI (GenAI) techniques, such as large language models (LLMs) and
diffusion models, have shown remarkable capabilities (e.g., in-context
learning, code-completion, and text-to-image generation and editing). However,
GenAI can be used just as well by attackers to generate new attacks and
increase the velocity and efficacy of existing attacks.
This paper reports the findings of a workshop held at Google (co-organized by
Stanford University and the University of Wisconsin-Madison) on the dual-use
dilemma posed by GenAI. This paper is not meant to be comprehensive, but is
rather an attempt to synthesize some of the interesting findings from the
workshop. We discuss short-term and long-term goals for the community on this
topic. We hope this paper provides both a launching point for a discussion on
this important topic as well as interesting problems that the research
community can work to address.
- Abstract(参考訳): あらゆる主要な技術発明が両用ジレンマを再浮上させ、新しい技術は善と害に使える可能性がある。
大規模言語モデル(LLM)や拡散モデルのようなジェネレーティブAI(GenAI)技術は、顕著な能力(例えば、テキスト内学習、コード補完、テキストから画像への生成と編集)を示している。
しかし、GenAIは攻撃者も同様に新しい攻撃を発生させ、既存の攻撃の速度と効果を高めるために使うことができる。
本稿は、Google(スタンフォード大学とウィスコンシン大学マディソン校が共同で開催した、GenAIによる二重使用ジレンマに関するワークショップの成果を報告する。
本論文は包括的ではなく,ワークショップで得られた興味深い知見のいくつかを合成する試みである。
この話題について,コミュニティの短期的,長期的目標について論じる。
この論文は、この重要なトピックに関する議論の出発点と、研究コミュニティが取り組むべき興味深い問題の両方を提供することを期待している。
関連論文リスト
- Generative artificial intelligence in dentistry: Current approaches and future challenges [0.0]
生成AI(GenAI)モデルは、複雑なモデルと対話する自然言語インターフェースを提供することによって、AIのユーザビリティギャップを橋渡しする。
歯科教育では、GenAIモデルのみを推進し、多くの疑問を解決できる機会を得た。
GenAIは、新しい薬物発見から学術論文の補助まで、歯科医学研究にも利用することができる。
論文 参考訳(メタデータ) (2024-07-24T03:33:47Z) - Securing the Future of GenAI: Policy and Technology [50.586585729683776]
政府はGenAIを規制し、イノベーションと安全性のバランスをとるという課題に、世界中で不満を抱いている。
Google、ウィスコンシン大学、マディソン大学、スタンフォード大学が共同で行ったワークショップは、GenAIのポリシーとテクノロジーのギャップを埋めることを目的としていた。
本稿では,技術進歩を妨げることなく,どのように規制を設計できるか,といった問題に対処するワークショップの議論を要約する。
論文 参考訳(メタデータ) (2024-05-21T20:30:01Z) - Explainable Generative AI (GenXAI): A Survey, Conceptualization, and Research Agenda [1.8592384822257952]
我々は、XAIがGenAIの台頭とともに重要になった理由とその説明可能性研究の課題について詳述する。
私たちはまた、検証可能性、対話性、セキュリティ、コストといった側面をカバーし、説明が満たすべき新しいデシラタも披露します。
論文 参考訳(メタデータ) (2024-04-15T08:18:16Z) - The World of Generative AI: Deepfakes and Large Language Models [2.216882190540723]
Deepfakes and Large Language Models (LLMs) は、Generative Artificial Intelligence (GenAI) の2つの例である。
特にディープフェイクは、誤った情報を広めて真実を変えることができるため、社会に脅威をもたらす。
この記事では、それらの間のインランゲージを見つけようとします。
論文 参考訳(メタデータ) (2024-02-06T20:18:32Z) - Prompt Smells: An Omen for Undesirable Generative AI Outputs [4.105236597768038]
我々は、GenAIモデルの適用に関する制約に対処する上で、研究コミュニティに役立つ2つの新しい概念を提案する。
まず、GenAI出力の「望ましさ」の定義と、それに影響を与える3つの要因について述べる。
第2に、Martin Fowler氏のコードの臭いからインスピレーションを得た上で、我々は「急激な臭い」の概念と、それらがGenAI出力の嫌悪性に与える影響について提案する。
論文 参考訳(メタデータ) (2024-01-23T10:10:01Z) - Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - GenAI Against Humanity: Nefarious Applications of Generative Artificial
Intelligence and Large Language Models [11.323961700172175]
本稿は、GenAIのリスクとLLMの誤用に関する厳密な研究の合成として機能する。
我々は、私たちが目にしているGenAI革命に波及した社会的影響を明らかにする。
仮想世界と現実世界の境界線はぼやけており、GenAIの悪名高いアプリケーションの結果が私たち全員に影響を与えています。
論文 参考訳(メタデータ) (2023-10-01T17:25:56Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - Threat of Adversarial Attacks on Deep Learning in Computer Vision:
Survey II [86.51135909513047]
ディープラーニングは、予測を操作できる敵攻撃に対して脆弱である。
本稿では,ディープラーニングに対する敵対的攻撃におけるコンピュータビジョンコミュニティの貢献を概観する。
この領域では、非専門家に技術的な用語の定義を提供する。
論文 参考訳(メタデータ) (2021-08-01T08:54:47Z) - Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。
敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。
ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-16T14:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。