論文の概要: On the Security Risks of Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2305.02383v2
• Date: Thu, 22 Jun 2023 06:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 17:21:40.970994
• Title: On the Security Risks of Knowledge Graph Reasoning
• Title（参考訳）: 知識グラフ推論のセキュリティリスクについて
• Authors: Zhaohan Xi and Tianyu Du and Changjiang Li and Ren Pang and Shouling Ji and Xiapu Luo and Xusheng Xiao and Fenglong Ma and Ting Wang
• Abstract要約: 我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
• 参考スコア（独自算出の注目度）: 71.64027889145261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph reasoning (KGR) -- answering complex logical queries over large knowledge graphs -- represents an important artificial intelligence task, entailing a range of applications (e.g., cyber threat hunting). However, despite its surging popularity, the potential security risks of KGR are largely unexplored, which is concerning, given the increasing use of such capability in security-critical domains. This work represents a solid initial step towards bridging the striking gap. We systematize the security threats to KGR according to the adversary's objectives, knowledge, and attack vectors. Further, we present ROAR, a new class of attacks that instantiate a variety of such threats. Through empirical evaluation in representative use cases (e.g., medical decision support, cyber threat hunting, and commonsense reasoning), we demonstrate that ROAR is highly effective to mislead KGR to suggest pre-defined answers for target queries, yet with negligible impact on non-target ones. Finally, we explore potential countermeasures against ROAR, including filtering of potentially poisoning knowledge and training with adversarially augmented queries, which leads to several promising research directions.
• Abstract（参考訳）: 知識グラフ推論(KGR) — 大きな知識グラフ上の複雑な論理的クエリに応答する — は、さまざまなアプリケーション(サイバー脅威ハンティングなど)を含む重要な人工知能タスクである。 しかし、人気が高まっているにもかかわらず、KGRの潜在的なセキュリティリスクは、セキュリティクリティカルなドメインにおけるそのような機能の利用の増加を考えると、ほとんど解明されていない。 この作業は、衝撃的なギャップを埋める第一歩となる。 我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 さらに,このような脅威をインスタンス化する,新たなタイプの攻撃であるroarも紹介する。 代表的なユースケース(例えば、医療意思決定支援、サイバー脅威ハンティング、コモンセンス推論)における経験的評価を通じて、ROARはKGRを誤解させ、ターゲットクエリに対する事前定義された回答を提案するのに非常に効果的であるが、ターゲットでないケースには無視できる影響を持つことを示した。 最後に, 有害な知識のフィルタリングや, 対向的な拡張クエリによるトレーニングなど, ROARに対する潜在的な対策を検討する。

関連論文リスト

• Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
  Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
  論文  参考訳（メタデータ） (2025-02-08T06:50:47Z)
• A Review of the Duality of Adversarial Learning in Network Intrusion: Attacks and Countermeasures [0.0]
  敵対的攻撃、特にディープラーニングモデルの脆弱性を狙った攻撃は、サイバーセキュリティに対するニュアンスで重大な脅威となる。 本研究は,データポジショニング,テストタイムエベイション,リバースエンジニアリングなど,敵対的な学習の脅威について論じる。 我々の研究は、敵の攻撃によって引き起こされるネットワークセキュリティとプライバシの潜在的な侵害に対処するための防御メカニズムを強化するための基盤となる。
  論文  参考訳（メタデータ） (2024-12-18T14:21:46Z)
• HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
  我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。 HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。 攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T09:15:51Z)
• Using Retriever Augmented Large Language Models for Attack Graph Generation [0.7619404259039284]
  本稿では,大規模言語モデル(LLM)を利用したアタックグラフの自動生成手法について検討する。 これは、Common Vulnerabilities and Exposures(CommonLLMs)を使用して、脅威レポートからアタックグラフを作成する方法を示している。
  論文  参考訳（メタデータ） (2024-08-11T19:59:08Z)
• The Shadow of Fraud: The Emerging Danger of AI-powered Social Engineering and its Possible Cure [30.431292911543103]
  社会工学(SE)攻撃は個人と組織双方にとって重大な脅威である。 人工知能(AI)の進歩は、よりパーソナライズされ説得力のある攻撃を可能にすることによって、これらの脅威を強化する可能性がある。 本研究は、SE攻撃機構を分類し、その進化を分析し、これらの脅威を測定する方法を探る。
  論文  参考訳（メタデータ） (2024-07-22T17:37:31Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Eroding Trust In Aerial Imagery: Comprehensive Analysis and Evaluation Of Adversarial Attacks In Geospatial Systems [24.953306643091484]
  地理空間システムにおける敵攻撃の信頼性を低下させる方法を示す。 高品質なSpaceNetデータセットを用いたリモートセンシングシステムに対する脅威を実証的に示す。
  論文  参考訳（メタデータ） (2023-12-12T16:05:12Z)
• A System for Automated Open-Source Threat Intelligence Gathering and Management [53.65687495231605]
  SecurityKGはOSCTIの収集と管理を自動化するシステムである。 AIとNLP技術を組み合わせて、脅威行動に関する高忠実な知識を抽出する。
  論文  参考訳（メタデータ） (2021-01-19T18:31:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。