論文の概要: Stealthy Attack on Large Language Model based Recommendation
- arxiv url: http://arxiv.org/abs/2402.14836v1
- Date: Sun, 18 Feb 2024 16:51:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 19:38:06.505562
- Title: Stealthy Attack on Large Language Model based Recommendation
- Title(参考訳): 大規模言語モデルに基づくレコメンデーションのステルス攻撃
- Authors: Jinghao Zhang, Yuting Liu, Qiang Liu, Shu Wu, Guibing Guo and Liang
Wang
- Abstract要約: 大規模言語モデル (LLM) はレコメンダシステム (RS) の進歩を推進している。
本研究では,レコメンデーションモデルにLSMを導入することで,項目のテキスト内容に重点を置いているため,新たなセキュリティ脆弱性が生じることを明らかにした。
攻撃者は、テストフェーズ中に単にテキストの内容を変更するだけで、アイテムの露出を大幅に向上させることができることを実証する。
- 参考スコア(独自算出の注目度): 25.975404074836582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the powerful large language models (LLMs) have been instrumental in
propelling the progress of recommender systems (RS). However, while these
systems have flourished, their susceptibility to security threats has been
largely overlooked. In this work, we reveal that the introduction of LLMs into
recommendation models presents new security vulnerabilities due to their
emphasis on the textual content of items. We demonstrate that attackers can
significantly boost an item's exposure by merely altering its textual content
during the testing phase, without requiring direct interference with the
model's training process. Additionally, the attack is notably stealthy, as it
does not affect the overall recommendation performance and the modifications to
the text are subtle, making it difficult for users and platforms to detect. Our
comprehensive experiments across four mainstream LLM-based recommendation
models demonstrate the superior efficacy and stealthiness of our approach. Our
work unveils a significant security gap in LLM-based recommendation systems and
paves the way for future research on protecting these systems.
- Abstract(参考訳): 近年、強力な大規模言語モデル(llms)は、レコメンダシステム(rs)の進歩を促進するのに役立っている。
しかし、これらのシステムは繁栄しているが、セキュリティの脅威に対する感受性はほとんど見過ごされている。
本稿では,推奨モデルへのllmの導入が,項目のテキストコンテンツを重視した新たなセキュリティ脆弱性をもたらすことを明らかにした。
攻撃者は、モデルのトレーニングプロセスに直接干渉することなく、テストフェーズ中にテキストの内容を変更するだけで、アイテムの露出を大幅に向上できることを示す。
さらにこの攻撃は、全体的なレコメンデーション性能に影響を与えず、テキストの変更が微妙であるため、ユーザやプラットフォームが検出することが難しいため、特にステルス性が強い。
4つの主要なLCMベースレコメンデーションモデルに対する総合的な実験は、我々のアプローチの優れた有効性とステルス性を示している。
我々の研究は、LLMベースのレコメンデーションシステムにおいて重大なセキュリティギャップを明らかにし、これらのシステムを保護するための将来の研究の道を開く。
関連論文リスト
- Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z) - Optimization-based Prompt Injection Attack to LLM-as-a-Judge [78.20257854455562]
我々は,LLM-as-a-Judgeに合わせた新しい最適化ベースのプロンプトインジェクションアタックであるJiceDeceiverを紹介する。
提案手法は, LLM-as-a-Judgeの意思決定プロセスに対する正確な最適化目標を定式化する。
本手法は,手技によるインジェクション攻撃と比較して,優れた有効性を示す。
論文 参考訳(メタデータ) (2024-03-26T13:58:00Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳(メタデータ) (2024-03-19T07:25:02Z) - Benchmarking and Defending Against Indirect Prompt Injection Attacks on
Large Language Models [82.98081731588717]
大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。
本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。
我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
論文 参考訳(メタデータ) (2023-12-21T01:08:39Z) - A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。
前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。
後者は攻撃者にはよりアクセスしやすく、注目されている。
論文 参考訳(メタデータ) (2023-12-18T07:07:32Z) - PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。
本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
論文 参考訳(メタデータ) (2023-10-19T03:25:28Z) - Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks [5.860289498416911]
大規模言語モデル(LLM)はアーキテクチャと能力において急速に進歩しています。
複雑なシステムに深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まっている。
本稿では,LSMに対する対人攻撃の新たな学際的分野について調査する。
論文 参考訳(メタデータ) (2023-10-16T21:37:24Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z) - COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in
Language Models [4.776465250559034]
ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。
まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。
そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:53:42Z) - On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。
特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。
これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
論文 参考訳(メタデータ) (2023-05-26T13:49:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。