論文の概要: LLMSymGuard: A Symbolic Safety Guardrail Framework Leveraging Interpretable Jailbreak Concepts

• arxiv url: http://arxiv.org/abs/2508.16325v1
• Date: Fri, 22 Aug 2025 12:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.377777
• Title: LLMSymGuard: A Symbolic Safety Guardrail Framework Leveraging Interpretable Jailbreak Concepts
• Title（参考訳）: LLMSymGuard: 解釈可能なジェイルブレイクの概念を活用するシンボリック安全ガードレールフレームワーク
• Authors: Darpan Aswal, Céline Hudelot,
• Abstract要約: この研究は、Sparse Autoencoders (SAE)を活用して解釈可能な概念を識別する新しいフレームワークである textbfLLMSymGuardを導入している。 意味的に意味のある内部表現を抽出することで、LLMSymGuardは象徴的で論理的な安全ガードレールを構築することができる。
• 参考スコア（独自算出の注目度）: 5.019114272620707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models have found success in a variety of applications; however, their safety remains a matter of concern due to the existence of various types of jailbreaking methods. Despite significant efforts, alignment and safety fine-tuning only provide a certain degree of robustness against jailbreak attacks that covertly mislead LLMs towards the generation of harmful content. This leaves them prone to a number of vulnerabilities, ranging from targeted misuse to accidental profiling of users. This work introduces \textbf{LLMSymGuard}, a novel framework that leverages Sparse Autoencoders (SAEs) to identify interpretable concepts within LLM internals associated with different jailbreak themes. By extracting semantically meaningful internal representations, LLMSymGuard enables building symbolic, logical safety guardrails -- offering transparent and robust defenses without sacrificing model capabilities or requiring further fine-tuning. Leveraging advances in mechanistic interpretability of LLMs, our approach demonstrates that LLMs learn human-interpretable concepts from jailbreaks, and provides a foundation for designing more interpretable and logical safeguard measures against attackers. Code will be released upon publication.
• Abstract（参考訳）: 大規模言語モデルは様々なアプリケーションで成功しているが、様々な種類のジェイルブレイク方法が存在するため、その安全性は依然として問題となっている。 大きな努力にもかかわらず、アライメントと安全性の微調整は、有害なコンテンツの生成に向けてLLMを秘密裏に誤解させるジェイルブレイク攻撃に対して、ある程度の堅牢性しか提供しない。 これにより、ターゲットの誤用からユーザの偶発的なプロファイリングまで、数多くの脆弱性が生じる傾向にある。 これは、スパースオートエンコーダ(SAE)を利用して、異なるジェイルブレイクテーマに関連するLLM内部の解釈可能な概念を識別する新しいフレームワークである。 意味的に意味のある内部表現を抽出することによって、LLMSymGuardは象徴的で論理的な安全ガードレールの構築を可能にする。 LLMの機械的解釈可能性の進歩を生かして、LLMはジェイルブレイクから人間の解釈可能な概念を学習し、攻撃者に対するより解釈可能な論理的安全対策を設計するための基盤を提供する。 コードは出版時に公開される。

関連論文リスト

• SafePTR: Token-Level Jailbreak Defense in Multimodal LLMs via Prune-then-Restore Mechanism [123.54980913741828]
  MLLM(Multimodal Large Language Models)は、視覚的推論をサポートするためにLLMを拡張する。 MLLMは、マルチモーダルなジェイルブレイク攻撃や安全なデプロイメントを妨げる可能性がある。 セーフ・プルー・テン・レストア(Safe Prune-then-Restore, SafePTR)は、有害なトークンを脆弱な層で選択的にプルーすると同時に、その後の層で良質な機能を復元する、トレーニング不要の防御フレームワークである。
  論文  参考訳（メタデータ） (2025-07-02T09:22:03Z)
• Scalable Defense against In-the-wild Jailbreaking Attacks with Safety Context Retrieval [25.17143802138141]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱であり、敵は危険または非倫理的な反応を引き起こすために慎重に設計されたプロンプトを悪用する。 安全コンテキスト検索(SCR, Safety Context Retrieval)は,LLMの脱獄防止のためのスケーラブルで堅牢な安全保護パラダイムである。
  論文  参考訳（メタデータ） (2025-05-21T16:58:14Z)
• Why Not Act on What You Know? Unleashing Safety Potential of LLMs via Self-Aware Guard Enhancement [48.50995874445193]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的な機能を示しているが、細心の注意を払って構築されたジェイルブレイク攻撃には弱いままである。 SAGE(Self-Aware Guard Enhancement)は,LSMの強い安全識別性能と比較的弱い安全生成能力とを整合させる訓練不要防衛戦略である。
  論文  参考訳（メタデータ） (2025-05-17T15:54:52Z)
• LightDefense: A Lightweight Uncertainty-Driven Defense against Jailbreaks via Shifted Token Distribution [84.2846064139183]
  大規模言語モデル(LLM)は、脱獄プロンプトからの脅威に直面している。 ホワイトボックスモデルを対象とした軽量防衛機構であるLightDefenseを提案する。
  論文  参考訳（メタデータ） (2025-04-02T09:21:26Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Revisiting Jailbreaking for Large Language Models: A Representation Engineering Perspective [43.94115802328438]
  最近のジェイルブレイク攻撃の急増により、悪意のある入力に晒された場合、Large Language Models(LLM)の重大な脆弱性が明らかになった。 LLMの自己保護能力は,その表現空間内の特定の行動パターンと関係があることが示唆された。 これらのパターンは,数対のコントラストクエリで検出可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-12T00:50:04Z)
• Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
  大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。 LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T15:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。