論文の概要: Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data

• arxiv url: http://arxiv.org/abs/2406.13843v1
• Date: Wed, 19 Jun 2024 21:11:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:15:51.696868
• Title: Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data
• Title（参考訳）: ジェネレーティブAIの誤用: 戦術の分類と実世界のデータからの洞察
• Authors: Nahema Marchal, Rachel Xu, Rasmi Elasmar, Iason Gabriel, Beth Goldberg, William Isaac,
• Abstract要約: ジェネレーティブでマルチモーダルな人工知能(GenAI)は、産業全体にわたる変革的なポテンシャルを提供するが、その誤用は重大なリスクをもたらす。 これまでの研究は、悪意ある目的のために悪用される高度なAIシステムの可能性を明らかにしてきた。 本報告では,2023年1月から2024年3月までに報告された約200件の誤用事例の質的分析を行った。
• 参考スコア（独自算出の注目度）: 2.7653246060093513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative, multimodal artificial intelligence (GenAI) offers transformative potential across industries, but its misuse poses significant risks. Prior research has shed light on the potential of advanced AI systems to be exploited for malicious purposes. However, we still lack a concrete understanding of how GenAI models are specifically exploited or abused in practice, including the tactics employed to inflict harm. In this paper, we present a taxonomy of GenAI misuse tactics, informed by existing academic literature and a qualitative analysis of approximately 200 observed incidents of misuse reported between January 2023 and March 2024. Through this analysis, we illuminate key and novel patterns in misuse during this time period, including potential motivations, strategies, and how attackers leverage and abuse system capabilities across modalities (e.g. image, text, audio, video) in the wild.
• Abstract（参考訳）: ジェネレーティブでマルチモーダルな人工知能(GenAI)は、産業全体にわたる変革的なポテンシャルを提供するが、その誤用は重大なリスクをもたらす。 これまでの研究は、悪意ある目的のために悪用される高度なAIシステムの可能性を明らかにしてきた。 しかし、我々は、GenAIモデルが実際にどのように悪用され、悪用されているか、具体的には理解していない。 本稿では,2023年1月から2024年3月までに報告された約200件の誤用事例の質的分析と,既存の学術文献から報告されたGenAI誤用戦術の分類について述べる。 この分析を通じて、この時代の悪用における重要なパターンと新しいパターンを照らし、潜在的な動機づけ、戦略、攻撃者が野生のモダリティ(画像、テキスト、オーディオ、ビデオなど)をまたいだシステム機能をどのように活用し、悪用するかを解明する。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• SoK: On the Offensive Potential of AI [14.072632973726906]
  ますます多くの証拠が、AIが攻撃目的にも使われていることを示している。 現存する研究は、AIの攻撃的可能性の全体像を描けなかった。
  論文  参考訳（メタデータ） (2024-12-24T14:02:44Z)
• A Comprehensive Review of Adversarial Attacks on Machine Learning [0.5104264623877593]
  本研究は、AIモデルとMLモデルに対する敵攻撃の包括的概要を提供し、様々な攻撃タイプ、テクニック、潜在的な害を探索する。 実用的な洞察を得るためには、自動運転車のような現実世界のユースケースに対する攻撃をシミュレートするために、Adversarial Robustness Toolbox(ART)ライブラリを使用します。
  論文  参考訳（メタデータ） (2024-12-16T02:27:54Z)
• On the Limitations and Prospects of Machine Unlearning for Generative AI [7.795648142175443]
  Generative AI(GenAI)は、潜伏変数やその他のデータモダリティから現実的で多様なデータサンプルを合成することを目的としている。 GenAIは自然言語、画像、オーディオ、グラフなど、さまざまな領域で顕著な成果を上げている。 しかし、データプライバシ、セキュリティ、倫理に課題やリスクも生じている。
  論文  参考訳（メタデータ） (2024-08-01T08:35:40Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
  最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
  論文  参考訳（メタデータ） (2023-11-16T16:09:44Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Adversarial Attacks on Machine Learning Systems for High-Frequency Trading [55.30403936506338]
  逆機械学習の観点から,アルゴリズム取引のバリュエーションモデルについて検討する。 攻撃コストを最小限に抑えるサイズ制約で、このドメインに特有の新たな攻撃を導入する。 本稿では、金融モデルのロバスト性について研究・評価するための分析ツールとして、これらの攻撃がどのように利用できるかについて論じる。
  論文  参考訳（メタデータ） (2020-02-21T22:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。