論文の概要: On the Security Risks of Knowledge Graph Reasoning
- arxiv url: http://arxiv.org/abs/2305.02383v2
- Date: Thu, 22 Jun 2023 06:17:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 17:21:40.970994
- Title: On the Security Risks of Knowledge Graph Reasoning
- Title(参考訳): 知識グラフ推論のセキュリティリスクについて
- Authors: Zhaohan Xi and Tianyu Du and Changjiang Li and Ren Pang and Shouling
Ji and Xiapu Luo and Xusheng Xiao and Fenglong Ma and Ting Wang
- Abstract要約: 我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。
ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
- 参考スコア(独自算出の注目度): 71.64027889145261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge graph reasoning (KGR) -- answering complex logical queries over
large knowledge graphs -- represents an important artificial intelligence task,
entailing a range of applications (e.g., cyber threat hunting). However,
despite its surging popularity, the potential security risks of KGR are largely
unexplored, which is concerning, given the increasing use of such capability in
security-critical domains.
This work represents a solid initial step towards bridging the striking gap.
We systematize the security threats to KGR according to the adversary's
objectives, knowledge, and attack vectors. Further, we present ROAR, a new
class of attacks that instantiate a variety of such threats. Through empirical
evaluation in representative use cases (e.g., medical decision support, cyber
threat hunting, and commonsense reasoning), we demonstrate that ROAR is highly
effective to mislead KGR to suggest pre-defined answers for target queries, yet
with negligible impact on non-target ones. Finally, we explore potential
countermeasures against ROAR, including filtering of potentially poisoning
knowledge and training with adversarially augmented queries, which leads to
several promising research directions.
- Abstract(参考訳): 知識グラフ推論(KGR) — 大きな知識グラフ上の複雑な論理的クエリに応答する — は、さまざまなアプリケーション(サイバー脅威ハンティングなど)を含む重要な人工知能タスクである。
しかし、人気が高まっているにもかかわらず、KGRの潜在的なセキュリティリスクは、セキュリティクリティカルなドメインにおけるそのような機能の利用の増加を考えると、ほとんど解明されていない。
この作業は、衝撃的なギャップを埋める第一歩となる。
我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
さらに,このような脅威をインスタンス化する,新たなタイプの攻撃であるroarも紹介する。
代表的なユースケース(例えば、医療意思決定支援、サイバー脅威ハンティング、コモンセンス推論)における経験的評価を通じて、ROARはKGRを誤解させ、ターゲットクエリに対する事前定義された回答を提案するのに非常に効果的であるが、ターゲットでないケースには無視できる影響を持つことを示した。
最後に, 有害な知識のフィルタリングや, 対向的な拡張クエリによるトレーニングなど, ROARに対する潜在的な対策を検討する。
関連論文リスト
- PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented
Generation of Large Language Models [49.606341607616926]
我々は、RAGに対する知識中毒攻撃のセットであるPoisonedRAGを提案する。
我々は、知識中毒攻撃を最適化問題として定式化し、その解決策は有毒テキストの集合である。
以上の結果から,対象の質問に対して5つの有毒テキストを100万テキストのデータベースに注入した場合,攻撃が90%の攻撃成功率を達成する可能性が示唆された。
論文 参考訳(メタデータ) (2024-02-12T18:28:36Z) - The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。
この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
論文 参考訳(メタデータ) (2024-01-29T17:16:57Z) - The Role of Deep Learning in Advancing Proactive Cybersecurity Measures
for Smart Grid Networks: A Survey [1.0589208420411014]
本研究では,スマートグリッドにおけるディープラーニング(DL)を活用した積極的なサイバー防御戦略について検討する。
DL対応のプロアクティブディフェンスに焦点が当てられ、SGのプロアクティブディフェンスにおける役割と関連性を強調している。
調査では,DLベースのセキュリティシステムをSG内に展開する上での課題がリストアップされている。
論文 参考訳(メタデータ) (2024-01-11T13:14:40Z) - Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。
本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。
バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
論文 参考訳(メタデータ) (2023-12-23T05:51:40Z) - Eroding Trust In Aerial Imagery: Comprehensive Analysis and Evaluation
Of Adversarial Attacks In Geospatial Systems [24.953306643091484]
地理空間システムにおける敵攻撃の信頼性を低下させる方法を示す。
高品質なSpaceNetデータセットを用いたリモートセンシングシステムに対する脅威を実証的に示す。
論文 参考訳(メタデータ) (2023-12-12T16:05:12Z) - A Security Risk Taxonomy for Large Language Models [5.120567378386615]
本稿では,大規模言語モデルによるセキュリティリスクに着目し,現在の研究のギャップに対処する。
本研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類法を提案する。
ターゲットと攻撃タイプによる攻撃を、プロンプトベースのインタラクションスキームに分類する。
論文 参考訳(メタデータ) (2023-11-19T20:22:05Z) - SAGE: Intrusion Alert-driven Attack Graph Extractor [4.530678016396476]
攻撃グラフ(AG)は、サイバー敵がネットワークに侵入する経路を評価するために使用される。
我々は、専門家の事前知識を必要とせず、侵入警報によって観察された行動に基づいてAGを自動的に学習することを提案する。
論文 参考訳(メタデータ) (2021-07-06T17:45:02Z) - A System for Automated Open-Source Threat Intelligence Gathering and
Management [53.65687495231605]
SecurityKGはOSCTIの収集と管理を自動化するシステムである。
AIとNLP技術を組み合わせて、脅威行動に関する高忠実な知識を抽出する。
論文 参考訳(メタデータ) (2021-01-19T18:31:35Z) - Measurement-driven Security Analysis of Imperceptible Impersonation
Attacks [54.727945432381716]
本稿では,ディープニューラルネットワークを用いた顔認識システムの実用性について検討する。
皮膚の色,性別,年齢などの要因が,特定の標的に対する攻撃を行う能力に影響を及ぼすことを示す。
また,攻撃者の顔のさまざまなポーズや視点に対して堅牢なユニバーサルアタックを構築する可能性についても検討した。
論文 参考訳(メタデータ) (2020-08-26T19:27:27Z) - Challenges and Countermeasures for Adversarial Attacks on Deep
Reinforcement Learning [48.49658986576776]
深層強化学習(Dep Reinforcement Learning, DRL)は、周囲の環境に適応する優れた能力のおかげで、現実世界に多くの応用がある。
その大きな利点にもかかわらず、DRLは現実のクリティカルシステムやアプリケーションでの使用を妨げている敵攻撃の影響を受けやすい。
本稿では,DRLベースのシステムにおける新たな攻撃と,これらの攻撃を防御するための潜在的対策について述べる。
論文 参考訳(メタデータ) (2020-01-27T10:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。