論文の概要: LiteLMGuard: Seamless and Lightweight On-Device Prompt Filtering for Safeguarding Small Language Models against Quantization-induced Risks and Vulnerabilities

• arxiv url: http://arxiv.org/abs/2505.05619v1
• Date: Thu, 08 May 2025 19:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.069824
• Title: LiteLMGuard: Seamless and Lightweight On-Device Prompt Filtering for Safeguarding Small Language Models against Quantization-induced Risks and Vulnerabilities
• Title（参考訳）: LiteLMGuard: 量子化によるリスクと脆弱性から小さな言語モデルを保護するための、シームレスで軽量なオンデバイスプロンプトフィルタ
• Authors: Kalyan Nakka, Jimmy Dani, Ausmit Mondal, Nitesh Saxena,
• Abstract要約: LiteLMGuard (LLMG) は、量子化されたSLMのリアルタイムかつ迅速な防御を提供する。 LLMGは、深層学習(DL)に基づく即時応答可能性分類タスクとしてプロンプトフィルタリングを形式化する。 LLMGは、ダイレクトインストラクションとジェイルブレイク攻撃戦略を含む有害なプロンプトの87%以上を防御している。
• 参考スコア（独自算出の注目度）: 1.460362586787935
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The growing adoption of Large Language Models (LLMs) has influenced the development of their lighter counterparts-Small Language Models (SLMs)-to enable on-device deployment across smartphones and edge devices. These SLMs offer enhanced privacy, reduced latency, server-free functionality, and improved user experience. However, due to resource constraints of on-device environment, SLMs undergo size optimization through compression techniques like quantization, which can inadvertently introduce fairness, ethical and privacy risks. Critically, quantized SLMs may respond to harmful queries directly, without requiring adversarial manipulation, raising significant safety and trust concerns. To address this, we propose LiteLMGuard (LLMG), an on-device prompt guard that provides real-time, prompt-level defense for quantized SLMs. Additionally, our prompt guard is designed to be model-agnostic such that it can be seamlessly integrated with any SLM, operating independently of underlying architectures. Our LLMG formalizes prompt filtering as a deep learning (DL)-based prompt answerability classification task, leveraging semantic understanding to determine whether a query should be answered by any SLM. Using our curated dataset, Answerable-or-Not, we trained and fine-tuned several DL models and selected ELECTRA as the candidate, with 97.75% answerability classification accuracy. Our safety effectiveness evaluations demonstrate that LLMG defends against over 87% of harmful prompts, including both direct instruction and jailbreak attack strategies. We further showcase its ability to mitigate the Open Knowledge Attacks, where compromised SLMs provide unsafe responses without adversarial prompting. In terms of prompt filtering effectiveness, LLMG achieves near state-of-the-art filtering accuracy of 94%, with an average latency of 135 ms, incurring negligible overhead for users.
• Abstract（参考訳）: LLM(Large Language Models)の採用の増加は、スマートフォンやエッジデバイスをまたがるデバイス上でのデプロイメントを可能にする、より軽量なSLM(Small Language Models)の開発に影響を与えている。 これらのSLMは、プライバシーの強化、レイテンシの削減、サーバーフリー機能、ユーザーエクスペリエンスの向上を提供する。 しかし、デバイス上でのリソース制約のため、SLMは量子化のような圧縮技術を通じてサイズ最適化を行い、公正性、倫理的、プライバシー上のリスクを必然的に引き起こすことができる。 臨界的に、量子化されたSLMは、敵の操作を必要とせず、有害なクエリに直接応答し、重大な安全性と信頼の懸念を生じさせる可能性がある。 そこで本研究では,量子化されたSLMに対して,リアルタイムかつ迅速な防御を実現するデバイス上でのプロンプトガードであるLiteLMGuard(LLMG)を提案する。 さらに、当社のプロンプトガードはモデルに依存しないように設計されており、基盤となるアーキテクチャとは独立して、任意のSLMとシームレスに統合できるように設計されています。 LLMG は,問合せが SLM によって答えられるかどうかを判断するために意味的理解を活用することで,深層学習(DL) に基づく応答可能性分類タスクとしてプロンプトフィルタリングを形式化する。 計算したデータセットAnswerable-or-Notを用いて、いくつかのDLモデルを訓練、微調整し、97.75%の回答可能性分類精度でELECTRAを候補として選択した。 我々の安全性評価は、LLMGが直接指導と脱獄攻撃の戦略を含む有害なプロンプトの87%以上を防御していることを示している。 我々はさらに、攻撃されたSLMが敵のプロンプトを伴わずに安全でない応答を提供するオープンナレッジアタックを緩和する能力を示す。 迅速なフィルタリング効率の面では、LLMGは最先端のフィルタリング精度94%、平均遅延135msを実現し、ユーザにとって無視できないオーバーヘッドを発生させる。

関連論文リスト

• SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks [17.77094760401298]
  メンバーシップ推論攻撃(MIA)に対する微調整大言語モデルの脆弱性について検討する。 プライバシー保護とプライバシー保護のバランスをとるために,影響のあるデータ選択を調整可能なパラメータで活用することで,プライバシーの漏洩を緩和する新しい防衛手法であるSOFTを提案する。
  論文  参考訳（メタデータ） (2025-06-12T07:23:56Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Models (LLMs) を中心とした保護システムレイヤを作成する堅牢な防御機能である。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 最近のエージェントセキュリティベンチマークであるAgentDojo[NeurIPS 2024]で、証明可能なセキュリティを備えた67%のタスクを解決し、CaMeLの有効性を実証した。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• Can Small Language Models Reliably Resist Jailbreak Attacks? A Comprehensive Evaluation [10.987263424166477]
  大型言語モデル(LLM)の代替として、小型言語モデル(SLM)が登場した。 本稿では,SLMの脆弱性をジェイルブレイク攻撃に対して大規模な実証的研究を行った。 モデルのサイズ、モデルアーキテクチャ、トレーニングデータセット、トレーニングテクニックの4つの重要な要素を特定します。
  論文  参考訳（メタデータ） (2025-03-09T08:47:16Z)
• Enhancing the Capability and Robustness of Large Language Models through Reinforcement Learning-Driven Query Refinement [35.50259088854813]
  大きな言語モデル(LLM)の、正直で無害で有用な応答を生成する能力は、ユーザープロンプトの品質に大きく依存している。 本研究では,LSMに入力される前にユーザプロンプトを洗練する,転送可能でプラグイン可能なフレームワークを提案する。 この戦略はクエリの品質を改善し、LCMにより誠実で良質で有用なレスポンスを生成する権限を与えます。
  論文  参考訳（メタデータ） (2024-07-01T16:55:28Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Protecting Your LLMs with Information Bottleneck [20.870610473199125]
  本稿では,情報ボトルネック原理に基づく防御機構であるIBProtector(Information Bottleneck Protector)を紹介する。 IBProtectorは、軽量で訓練可能な抽出器によって促進されるプロンプトを選択的に圧縮し、摂動する。 IBProtectorはジェイルブレイク対策において,現在の防御方法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-22T08:16:07Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。