論文の概要: Identifying and Mitigating the Security Risks of Generative AI
- arxiv url: http://arxiv.org/abs/2308.14840v4
- Date: Fri, 29 Dec 2023 00:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:44:21.424349
- Title: Identifying and Mitigating the Security Risks of Generative AI
- Title(参考訳): 生成AIのセキュリティリスクの特定と修正
- Authors: Clark Barrett, Brad Boyd, Elie Burzstein, Nicholas Carlini, Brad Chen,
Jihye Choi, Amrita Roy Chowdhury, Mihai Christodorescu, Anupam Datta, Soheil
Feizi, Kathleen Fisher, Tatsunori Hashimoto, Dan Hendrycks, Somesh Jha,
Daniel Kang, Florian Kerschbaum, Eric Mitchell, John Mitchell, Zulfikar
Ramzan, Khawaja Shams, Dawn Song, Ankur Taly, Diyi Yang
- Abstract要約: 本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。
GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。
この話題について,コミュニティの短期的,長期的目標について論じる。
- 参考スコア(独自算出の注目度): 179.2384121957896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Every major technical invention resurfaces the dual-use dilemma -- the new
technology has the potential to be used for good as well as for harm.
Generative AI (GenAI) techniques, such as large language models (LLMs) and
diffusion models, have shown remarkable capabilities (e.g., in-context
learning, code-completion, and text-to-image generation and editing). However,
GenAI can be used just as well by attackers to generate new attacks and
increase the velocity and efficacy of existing attacks.
This paper reports the findings of a workshop held at Google (co-organized by
Stanford University and the University of Wisconsin-Madison) on the dual-use
dilemma posed by GenAI. This paper is not meant to be comprehensive, but is
rather an attempt to synthesize some of the interesting findings from the
workshop. We discuss short-term and long-term goals for the community on this
topic. We hope this paper provides both a launching point for a discussion on
this important topic as well as interesting problems that the research
community can work to address.
- Abstract(参考訳): あらゆる主要な技術発明が両用ジレンマを再浮上させ、新しい技術は善と害に使える可能性がある。
大規模言語モデル(LLM)や拡散モデルのようなジェネレーティブAI(GenAI)技術は、顕著な能力(例えば、テキスト内学習、コード補完、テキストから画像への生成と編集)を示している。
しかし、GenAIは攻撃者も同様に新しい攻撃を発生させ、既存の攻撃の速度と効果を高めるために使うことができる。
本稿は、Google(スタンフォード大学とウィスコンシン大学マディソン校が共同で開催した、GenAIによる二重使用ジレンマに関するワークショップの成果を報告する。
本論文は包括的ではなく,ワークショップで得られた興味深い知見のいくつかを合成する試みである。
この話題について,コミュニティの短期的,長期的目標について論じる。
この論文は、この重要なトピックに関する議論の出発点と、研究コミュニティが取り組むべき興味深い問題の両方を提供することを期待している。
関連論文リスト
- The World of Generative AI: Deepfakes and Large Language Models [2.216882190540723]
Deepfakes and Large Language Models (LLMs) は、Generative Artificial Intelligence (GenAI) の2つの例である。
特にディープフェイクは、誤った情報を広めて真実を変えることができるため、社会に脅威をもたらす。
この記事では、それらの間のインランゲージを見つけようとします。
論文 参考訳(メタデータ) (2024-02-06T20:18:32Z) - Prompt Smells: An Omen for Undesirable Generative AI Outputs [4.105236597768038]
我々は、GenAIモデルの適用に関する制約に対処する上で、研究コミュニティに役立つ2つの新しい概念を提案する。
まず、GenAI出力の「望ましさ」の定義と、それに影響を与える3つの要因について述べる。
第2に、Martin Fowler氏のコードの臭いからインスピレーションを得た上で、我々は「急激な臭い」の概念と、それらがGenAI出力の嫌悪性に与える影響について提案する。
論文 参考訳(メタデータ) (2024-01-23T10:10:01Z) - Generative AI in Writing Research Papers: A New Type of Algorithmic Bias
and Uncertainty in Scholarly Work [0.38850145898707145]
大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。
生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。
研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
論文 参考訳(メタデータ) (2023-12-04T04:05:04Z) - Towards more Practical Threat Models in Artificial Intelligence Security [71.53333444240076]
我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
我々の論文は、人工知能のセキュリティにおけるより実用的な脅威モデルを研究するための行動である。
論文 参考訳(メタデータ) (2023-11-16T16:09:44Z) - GenAI Against Humanity: Nefarious Applications of Generative Artificial
Intelligence and Large Language Models [11.323961700172175]
本稿は、GenAIのリスクとLLMの誤用に関する厳密な研究の合成として機能する。
我々は、私たちが目にしているGenAI革命に波及した社会的影響を明らかにする。
仮想世界と現実世界の境界線はぼやけており、GenAIの悪名高いアプリケーションの結果が私たち全員に影響を与えています。
論文 参考訳(メタデータ) (2023-10-01T17:25:56Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - Amplifying Limitations, Harms and Risks of Large Language Models [1.0152838128195467]
この記事は、人工知能に関する誇大広告の急増に対抗すべく、小さなジェスチャーとして紹介する。
また、この分野の外部の人たちが、AI技術の限界についてより深く知るのに役立つかもしれない。
論文 参考訳(メタデータ) (2023-07-06T11:53:45Z) - DeepfakeArt Challenge: A Benchmark Dataset for Generative AI Art Forgery
and Data Poisoning Detection [79.06544706290568]
悪意ある目的のために生成的AIを使用することについて懸念が高まっている。
DeepfakeArt Challengeは、生成AIアート偽造とデータ中毒検出のための機械学習アルゴリズムの構築を支援するために設計されたベンチマークデータセットである。
論文 参考訳(メタデータ) (2023-06-02T05:11:27Z) - Threat of Adversarial Attacks on Deep Learning in Computer Vision:
Survey II [86.51135909513047]
ディープラーニングは、予測を操作できる敵攻撃に対して脆弱である。
本稿では,ディープラーニングに対する敵対的攻撃におけるコンピュータビジョンコミュニティの貢献を概観する。
この領域では、非専門家に技術的な用語の定義を提供する。
論文 参考訳(メタデータ) (2021-08-01T08:54:47Z) - Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。
敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。
ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-16T14:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。