論文の概要: Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.19472v1
• Date: Wed, 16 Sep 2026 22:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.025077
• Title: Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
• Title（参考訳）: インターフェースを超えた安全性:大規模言語モデルにおける潜在状態によるハーム検出
• Abstract要約: 既存の外部ガードレールモデルは、モデルの内部動作に盲目のままであり、基本的な保証ギャップを形成している。 我々はLLaMA-31-8Bから活性化を抽出し、有害なプロンプトを検出するために軽量プローブを訓練する。 調査ではF1スコアが99%,83%,84%,それぞれ1000倍のガードモデルと競合し,レイテンシと計算コストを削減した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous systems increasingly rely on Large Language Models (LLMs) yet the safety infrastructure surrounding these models introduces latency and compute overhead. This limits utility in resource-constrained, time-critical deployments. Existing external guardrail models remain blind to the model's internal workings, creating a fundamental assurance gap. We ask: does the model already know when the content is harmful? We extract activations from LLaMA-3.1-8B and train lightweight MLP classifier probes (12.6M parameters) to detect harmful prompts. Evaluated on WildJailbreak, Beavertails, and AEGIS 2.0, our probes achieve F1 scores of 99%, 83%, and 84%, respectively competitive with 1000x larger guard models while cutting latency and compute costs.
• Abstract（参考訳）: 自律システムは大規模言語モデル(LLM)にますます依存しているが、これらのモデルを取り巻く安全インフラはレイテンシと計算オーバーヘッドをもたらす。 これにより、リソース制約のある時間クリティカルなデプロイメントにおけるユーティリティが制限される。 既存の外部ガードレールモデルは、モデルの内部動作に盲目のままであり、基本的な保証ギャップを形成している。 モデルはすでに、コンテンツが有害かどうかを知っていますか? 我々はLLaMA-3.1-8Bから活性化を抽出し、有害なプロンプトを検出するために軽量MLP分類器プローブ(12.6Mパラメータ)を訓練する。 WildJailbreak, Beavertails, AEGIS 2.0を評価すると, F1スコアは99%, 83%, 84%で,それぞれ1000倍のガードモデルと競合し, レイテンシと計算コストを削減した。

関連論文リスト

• Do All LLMs Know When They're Being Harmful? A Reproducibility Study of Latent-Space Safety Probes Across Model Families [0.0]
  単一の8Bモデルの最終層活性化に関する軽量プローブは、ガードモデルが1000倍大きいF1において有害なプロンプトを検出する。 私たちはこのパイプラインをエンドツーエンドに再現し、元の研究が開いた2つの軸に沿って拡張します。
  論文  参考訳（メタデータ） (2026-08-08T09:34:22Z)
• SafeDream: Safety World Model for Proactive Early Jailbreak Detection [23.14126936942301]
  マルチターンジェイルブレイク攻撃は、一見無害な会話のターンにLSMの安全性を徐々に損なう。 LLMの重みを変更することなく外部モジュールとして動作する軽量なワールドモデルベースフレームワークであるSAFEDREAMを提案する。 3つのマルチターンジェイルブレイクベンチマークでは、SAFEDREAMは全てのベンチマーク(1.06-1.20はコンプライアンス前)で最高の検出を達成し、競合する偽陽性率を維持し、検出品質のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-18T04:31:33Z)
• Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
  この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。 特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。 有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T12:55:34Z)
• SeBERTis: A Framework for Producing Classifiers of Security-Related Issue Reports [8.545800179148442]
  SEBERTISは、Deep Neural Networks(DNN)を語彙的キューに依存しない分類器として訓練するフレームワークである。 当社のフレームワークは,1万件のGitHubイシューレポートをキュレートしたコーパスのセキュリティ関連問題を検出する上で,0.9880のF1スコアを達成した。
  論文  参考訳（メタデータ） (2025-12-17T01:23:11Z)
• Death by a Thousand Prompts: Open Model Vulnerability Analysis [0.06213771671016099]
  オープンウェイトモデルは、研究者や開発者に対して、さまざまなダウンストリームアプリケーションの基礎を提供します。 8つのオープンウェイトな大規模言語モデル(LLM)の安全性とセキュリティの姿勢をテストし、その後の微調整とデプロイメントに影響を与える可能性のある脆弱性を特定しました。 以上の結果から, マルチターン攻撃による成功率は25.86%から92.78%であった。
  論文  参考訳（メタデータ） (2025-11-05T07:22:24Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• CyberLLMInstruct: A Pseudo-malicious Dataset Revealing Safety-performance Trade-offs in Cyber Security LLM Fine-tuning [2.549390156222399]
  大規模言語モデルのサイバーセキュリティアプリケーションへの統合は、機会と重要な安全リスクの両方を示します。 我々はサイバーセキュリティタスクにまたがる54,928の擬似重複命令応答ペアのデータセットであるCyberLLMInstructを紹介した。
  論文  参考訳（メタデータ） (2025-03-12T12:29:27Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。