論文の概要: Poison Attacks and Adversarial Prompts Against an Informed University Virtual Assistant

• arxiv url: http://arxiv.org/abs/2412.06788v1
• Date: Sun, 03 Nov 2024 05:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 11:10:50.049973
• Title: Poison Attacks and Adversarial Prompts Against an Informed University Virtual Assistant
• Title（参考訳）: インフォームド大学バーチャルアシスタントに対する反逆攻撃
• Authors: Ivan A. Fernandez, Subash Neupane, Sudip Mittal, Shahram Rahimi,
• Abstract要約: 大規模言語モデル(LLM)は特に敵の攻撃に対して脆弱である。 AIベースのシステムの急速な開発ペースは、意思決定において人間を支援するジェネレーティブAI(GenAI)の可能性によって推進されている。 脅威アクターは、セキュリティギャップ、貧弱な保護、限られたデータガバナンスを使用して、システムとそのデータへの不正アクセスを許可する攻撃を実行することができる。
• 参考スコア（独自算出の注目度）: 3.0874677990361246
• License:
• Abstract: Recent research has shown that large language models (LLMs) are particularly vulnerable to adversarial attacks. Since the release of ChatGPT, various industries are adopting LLM-based chatbots and virtual assistants in their data workflows. The rapid development pace of AI-based systems is being driven by the potential of Generative AI (GenAI) to assist humans in decision making. The immense optimism behind GenAI often overshadows the adversarial risks associated with these technologies. A threat actor can use security gaps, poor safeguards, and limited data governance to carry out attacks that grant unauthorized access to the system and its data. As a proof-of-concept, we assess the performance of BarkPlug, the Mississippi State University chatbot, against data poison attacks from a red team perspective.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)が特に敵の攻撃に弱いことが示されている。 ChatGPTのリリース以来、さまざまな業界がLLMベースのチャットボットと仮想アシスタントをデータワークフローに採用している。 AIベースのシステムの急速な開発ペースは、意思決定において人間を支援するジェネレーティブAI(GenAI)の可能性によって推進されている。 GenAIの背後にある膨大な楽観主義は、しばしばこれらの技術に関連する敵のリスクを覆している。 脅威アクターは、セキュリティギャップ、貧弱な保護、限られたデータガバナンスを使用して、システムとそのデータへの不正アクセスを許可する攻撃を実行することができる。 概念実証として、ミシシッピ州立大学のチャットボットであるBarkPlugのパフォーマンスを、レッドチームの観点からのデータ中毒攻撃に対して評価する。

関連論文リスト

• Taking off the Rose-Tinted Glasses: A Critical Look at Adversarial ML Through the Lens of Evasion Attacks [11.830908033835728]
  我々は、過度に寛容な攻撃と過度に制限された防衛脅威モデルが、MLドメインにおける防衛開発を妨げていると主張している。 我々は、AIの観点からではなく、システムセキュリティの観点から、敵対的機械学習を分析する。
  論文  参考訳（メタデータ） (2024-10-15T21:33:23Z)
• A Survey on Offensive AI Within Cybersecurity [1.8206461789819075]
  攻撃的AIに関する調査論文は、AIシステムに対する攻撃および使用に関する様々な側面を包括的にカバーする。 消費者、企業、公共のデジタルインフラストラクチャなど、さまざまな分野における攻撃的なAIプラクティスの影響を掘り下げる。 この論文では、敵対的な機械学習、AIモデルに対する攻撃、インフラストラクチャ、インターフェース、および情報収集、ソーシャルエンジニアリング、兵器化されたAIといった攻撃的テクニックについて検討する。
  論文  参考訳（メタデータ） (2024-09-26T17:36:22Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy [0.0]
  この研究論文は、サイバーセキュリティとプライバシの領域におけるGenAIの限界、課題、潜在的なリスク、そして機会を強調している。 本稿では、サイバー犯罪者がGenAIツールをサイバー攻撃に利用する方法について検討する。 また、ChatGPTの社会的、法的、倫理的意味についても論じる。
  論文  参考訳（メタデータ） (2023-07-03T00:36:57Z)
• The Manipulation Problem: Conversational AI as a Threat to Epistemic Agency [0.0]
  会話型AIの技術は、過去18ヶ月で大きな進歩を遂げてきた。 会話エージェントは 近い将来 配備される可能性が高い 標的となる影響目標を 追求するように設計されている AI操作問題(AI Manipulation Problem)と呼ばれることもあるが、消費者が捕食的AIエージェントとのリアルタイム対話を無意識に行うというリスクが表面化している。
  論文  参考訳（メタデータ） (2023-06-19T04:09:16Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
  本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。 本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。 我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
  論文  参考訳（メタデータ） (2021-10-04T12:20:46Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。