論文の概要: Stealthy Attack on Large Language Model based Recommendation

• arxiv url: http://arxiv.org/abs/2402.14836v1
• Date: Sun, 18 Feb 2024 16:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-03 19:38:06.505562
• Title: Stealthy Attack on Large Language Model based Recommendation
• Title（参考訳）: 大規模言語モデルに基づくレコメンデーションのステルス攻撃
• Authors: Jinghao Zhang, Yuting Liu, Qiang Liu, Shu Wu, Guibing Guo and Liang Wang
• Abstract要約: 大規模言語モデル (LLM) はレコメンダシステム (RS) の進歩を推進している。 本研究では,レコメンデーションモデルにLSMを導入することで,項目のテキスト内容に重点を置いているため,新たなセキュリティ脆弱性が生じることを明らかにした。 攻撃者は、テストフェーズ中に単にテキストの内容を変更するだけで、アイテムの露出を大幅に向上させることができることを実証する。
• 参考スコア（独自算出の注目度）: 25.975404074836582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the powerful large language models (LLMs) have been instrumental in propelling the progress of recommender systems (RS). However, while these systems have flourished, their susceptibility to security threats has been largely overlooked. In this work, we reveal that the introduction of LLMs into recommendation models presents new security vulnerabilities due to their emphasis on the textual content of items. We demonstrate that attackers can significantly boost an item's exposure by merely altering its textual content during the testing phase, without requiring direct interference with the model's training process. Additionally, the attack is notably stealthy, as it does not affect the overall recommendation performance and the modifications to the text are subtle, making it difficult for users and platforms to detect. Our comprehensive experiments across four mainstream LLM-based recommendation models demonstrate the superior efficacy and stealthiness of our approach. Our work unveils a significant security gap in LLM-based recommendation systems and paves the way for future research on protecting these systems.
• Abstract（参考訳）: 近年、強力な大規模言語モデル(llms)は、レコメンダシステム(rs)の進歩を促進するのに役立っている。 しかし、これらのシステムは繁栄しているが、セキュリティの脅威に対する感受性はほとんど見過ごされている。 本稿では,推奨モデルへのllmの導入が,項目のテキストコンテンツを重視した新たなセキュリティ脆弱性をもたらすことを明らかにした。 攻撃者は、モデルのトレーニングプロセスに直接干渉することなく、テストフェーズ中にテキストの内容を変更するだけで、アイテムの露出を大幅に向上できることを示す。 さらにこの攻撃は、全体的なレコメンデーション性能に影響を与えず、テキストの変更が微妙であるため、ユーザやプラットフォームが検出することが難しいため、特にステルス性が強い。 4つの主要なLCMベースレコメンデーションモデルに対する総合的な実験は、我々のアプローチの優れた有効性とステルス性を示している。 我々の研究は、LLMベースのレコメンデーションシステムにおいて重大なセキュリティギャップを明らかにし、これらのシステムを保護するための将来の研究の道を開く。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• SoK: Prompt Hacking of Large Language Models [5.056128048855064]
  大規模言語モデル(LLM)ベースのアプリケーションの安全性と堅牢性は、人工知能において重要な課題である。 私たちは、ジェイルブレイク、リーク、インジェクションという3つの異なるタイプのプロンプトハッキングについて、包括的で体系的な概要を提供しています。 LLM応答を5つの異なるクラスに分類する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:30:41Z)
• Operationalizing a Threat Model for Red-Teaming Large Language Models (LLMs) [17.670925982912312]
  Red-teamingは、大規模言語モデル(LLM)の脆弱性を特定するテクニックである。 本稿では,LLM に対するリピート攻撃に関する詳細な脅威モデルを提案し,知識の体系化(SoK)を提供する。
  論文  参考訳（メタデータ） (2024-07-20T17:05:04Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• SLM as Guardian: Pioneering AI Safety with Small Language Models [6.799423428734095]
  より大型のモデルにセーフガード機能を組み込むことで、トレーニングコストの上昇と意図しない有用性の低下が問題となった。 本稿では、有害なクエリ検出とセーフガード応答生成の両方に、より小さなLSMを利用する。 提案手法の有効性を実証し,LLMと比較して,有害なクエリ検出およびセーフガード応答性能を同等又は超過する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T08:03:15Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。