論文の概要: LLM Safety From Within: Detecting Harmful Content with Internal Representations

• arxiv url: http://arxiv.org/abs/2604.18519v1
• Date: Mon, 20 Apr 2026 17:17:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.014009
• Title: LLM Safety From Within: Detecting Harmful Content with Internal Representations
• Title（参考訳）: 内部からのLLM安全性:内部表現による有害コンテンツの検出
• Authors: Difan Jiao, Yilun Liu, Ye Yuan, Zhenwei Tang, Linfeng Du, Haolun Wu, Ashton Anderson,
• Abstract要約: SIRENは、内部層に分散した安全関連機能を利用する軽量ガードモデルである。 評価の結果,SIRENは最先端のオープンソースガードモデルよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 16.054258510018688
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Guard models are widely used to detect harmful content in user prompts and LLM responses. However, state-of-the-art guard models rely solely on terminal-layer representations and overlook the rich safety-relevant features distributed across internal layers. We present SIREN, a lightweight guard model that harnesses these internal features. By identifying safety neurons via linear probing and combining them through an adaptive layer-weighted strategy, SIREN builds a harmfulness detector from LLM internals without modifying the underlying model. Our comprehensive evaluation shows that SIREN substantially outperforms state-of-the-art open-source guard models across multiple benchmarks while using 250 times fewer trainable parameters. Moreover, SIREN exhibits superior generalization to unseen benchmarks, naturally enables real-time streaming detection, and significantly improves inference efficiency compared to generative guard models. Overall, our results highlight LLM internal states as a promising foundation for practical, high-performance harmfulness detection.
• Abstract（参考訳）: ガードモデルは、ユーザプロンプトやLDM応答の有害なコンテンツを検出するために広く使用されている。 しかし、最先端ガードモデルはターミナル層表現のみに依存しており、内部層に分散したリッチな安全関連機能を見落としている。 我々はこれらの内部機能を利用する軽量ガードモデルであるSIRENを紹介する。 線形探索によって安全ニューロンを同定し、適応的な層重み付け戦略によってそれらを結合することにより、SIRENは、基礎となるモデルを変更することなくLLM内部から有害な検出器を構築する。 我々の総合評価では、SIRENは、トレーニング可能なパラメータを250倍少なくしながら、複数のベンチマークで最先端のオープンソースガードモデルを大幅に上回っている。 さらに、SIRENは、目に見えないベンチマークよりも優れた一般化を示し、自然にリアルタイムストリーミング検出を可能にし、生成ガードモデルと比較して推論効率を大幅に改善する。 以上の結果から, LLM内部状態は, 実用的, 高性能な有害性検出の基礎として有望であることが明らかとなった。

関連論文リスト

• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• Enhancing Safety of Large Language Models via Embedding Space Separation [24.821172423424866]
  大きな言語モデル(LLM)は印象的な機能を達成したが、有害なプロンプトに対する安全性を保証することは、依然として重要な課題である。 最近の研究によると、LLMにおける有害で安全なクエリの潜伏表現(埋め込み)は、通常線形分離性を示す。 この観測により,埋め込み空間分離(ES2)という表現レベルの微調整手法を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:22:38Z)
• Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models [3.710103086278309]
  大規模言語モデル(LLM)は通常、トレーニング後の段階で安全のために整列される。 ユーザに対してリスクをもたらす可能性のある,不適切なアウトプットを生成することも可能だ。 この課題は、モデル入力と出力の両方にわたって動作する堅牢なセーフガードの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-12-05T00:43:55Z)
• ReGA: Representation-Guided Abstraction for Model-based Safeguarding of LLMs [0.9285458070502282]
  大きな言語モデル(LLM)は様々なタスクで大きな成功を収めていますが、安全性とセキュリティに関する懸念が生まれています。 機械学習モデルを解析し、監視するために、モデルに基づく分析は、ステートフルなディープニューラルネットワークにおいて顕著な可能性を示している。 本稿では,表現誘導抽象化を用いたモデルベース分析フレームワークReGAを提案し,LLMを有害なプロンプトや世代に対して保護する。
  論文  参考訳（メタデータ） (2025-06-02T15:17:38Z)
• SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [51.49737867797442]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。 本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。