論文の概要: On the Security Risks of Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2305.02383v2
• Date: Thu, 22 Jun 2023 06:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 17:21:40.970994
• Title: On the Security Risks of Knowledge Graph Reasoning
• Title（参考訳）: 知識グラフ推論のセキュリティリスクについて
• Authors: Zhaohan Xi and Tianyu Du and Changjiang Li and Ren Pang and Shouling Ji and Xiapu Luo and Xusheng Xiao and Fenglong Ma and Ting Wang
• Abstract要約: 我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
• 参考スコア（独自算出の注目度）: 71.64027889145261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph reasoning (KGR) -- answering complex logical queries over large knowledge graphs -- represents an important artificial intelligence task, entailing a range of applications (e.g., cyber threat hunting). However, despite its surging popularity, the potential security risks of KGR are largely unexplored, which is concerning, given the increasing use of such capability in security-critical domains. This work represents a solid initial step towards bridging the striking gap. We systematize the security threats to KGR according to the adversary's objectives, knowledge, and attack vectors. Further, we present ROAR, a new class of attacks that instantiate a variety of such threats. Through empirical evaluation in representative use cases (e.g., medical decision support, cyber threat hunting, and commonsense reasoning), we demonstrate that ROAR is highly effective to mislead KGR to suggest pre-defined answers for target queries, yet with negligible impact on non-target ones. Finally, we explore potential countermeasures against ROAR, including filtering of potentially poisoning knowledge and training with adversarially augmented queries, which leads to several promising research directions.
• Abstract（参考訳）: 知識グラフ推論(KGR) — 大きな知識グラフ上の複雑な論理的クエリに応答する — は、さまざまなアプリケーション(サイバー脅威ハンティングなど)を含む重要な人工知能タスクである。 しかし、人気が高まっているにもかかわらず、KGRの潜在的なセキュリティリスクは、セキュリティクリティカルなドメインにおけるそのような機能の利用の増加を考えると、ほとんど解明されていない。 この作業は、衝撃的なギャップを埋める第一歩となる。 我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 さらに,このような脅威をインスタンス化する,新たなタイプの攻撃であるroarも紹介する。 代表的なユースケース(例えば、医療意思決定支援、サイバー脅威ハンティング、コモンセンス推論)における経験的評価を通じて、ROARはKGRを誤解させ、ターゲットクエリに対する事前定義された回答を提案するのに非常に効果的であるが、ターゲットでないケースには無視できる影響を持つことを示した。 最後に, 有害な知識のフィルタリングや, 対向的な拡張クエリによるトレーニングなど, ROARに対する潜在的な対策を検討する。

関連論文リスト

• HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
  我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。 HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。 攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T09:15:51Z)
• Using Retriever Augmented Large Language Models for Attack Graph Generation [0.7619404259039284]
  本稿では,大規模言語モデル(LLM)を利用したアタックグラフの自動生成手法について検討する。 これは、Common Vulnerabilities and Exposures(CommonLLMs)を使用して、脅威レポートからアタックグラフを作成する方法を示している。
  論文  参考訳（メタデータ） (2024-08-11T19:59:08Z)
• The Shadow of Fraud: The Emerging Danger of AI-powered Social Engineering and its Possible Cure [30.431292911543103]
  社会工学(SE)攻撃は個人と組織双方にとって重大な脅威である。 人工知能(AI)の進歩は、よりパーソナライズされ説得力のある攻撃を可能にすることによって、これらの脅威を強化する可能性がある。 本研究は、SE攻撃機構を分類し、その進化を分析し、これらの脅威を測定する方法を探る。
  論文  参考訳（メタデータ） (2024-07-22T17:37:31Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Eroding Trust In Aerial Imagery: Comprehensive Analysis and Evaluation Of Adversarial Attacks In Geospatial Systems [24.953306643091484]
  地理空間システムにおける敵攻撃の信頼性を低下させる方法を示す。 高品質なSpaceNetデータセットを用いたリモートセンシングシステムに対する脅威を実証的に示す。
  論文  参考訳（メタデータ） (2023-12-12T16:05:12Z)
• SAGE: Intrusion Alert-driven Attack Graph Extractor [4.530678016396476]
  攻撃グラフ(AG)は、サイバー敵がネットワークに侵入する経路を評価するために使用される。 我々は、専門家の事前知識を必要とせず、侵入警報によって観察された行動に基づいてAGを自動的に学習することを提案する。
  論文  参考訳（メタデータ） (2021-07-06T17:45:02Z)
• A System for Automated Open-Source Threat Intelligence Gathering and Management [53.65687495231605]
  SecurityKGはOSCTIの収集と管理を自動化するシステムである。 AIとNLP技術を組み合わせて、脅威行動に関する高忠実な知識を抽出する。
  論文  参考訳（メタデータ） (2021-01-19T18:31:35Z)
• Measurement-driven Security Analysis of Imperceptible Impersonation Attacks [54.727945432381716]
  本稿では,ディープニューラルネットワークを用いた顔認識システムの実用性について検討する。 皮膚の色,性別,年齢などの要因が,特定の標的に対する攻撃を行う能力に影響を及ぼすことを示す。 また,攻撃者の顔のさまざまなポーズや視点に対して堅牢なユニバーサルアタックを構築する可能性についても検討した。
  論文  参考訳（メタデータ） (2020-08-26T19:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。