論文の概要: Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics

• arxiv url: http://arxiv.org/abs/2608.19579v1
• Date: Thu, 20 Aug 2026 02:50:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.437233
• Title: Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics
• Title（参考訳）: DMDを用いたprompt-Response Embedding Dynamicsの分類によるLCMの安全性向上
• Abstract要約: 大規模言語モデル(LLM)は、ハイリスクなアプリケーションにますますデプロイされているが、有害な、有害な、あるいはポリシーに違反するコンテンツを生成する傾向は、重大なリスクをもたらす。 我々は最近,幻覚検出のための動的システムフレームワークをLLMの安全性分類に拡張した。
• 参考スコア（独自算出の注目度）: 5.114377181378075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in high-stakes applications, yet their tendency to generate toxic, harmful, or policy-violating content poses significant risks. Detecting these unsafe outputs efficiently in a black-box manner remains an open challenge. In this paper, we extend a recently proposed dynamical systems framework designed for hallucination detection to LLM safety classification. By projecting both prompts and responses into high-dimensional embedding spaces and fitting separate Koopman-based predictive models for safe and unsafe regimes, we classify new outputs using a new differential residual score that compares prediction errors of the safe and unsafe regimes. A key contribution is the incorporation of the prompt and response embedding dynamics, yielding fitted Koopman operators that capture crucial interaction patterns. We evaluate our black-box method across three safety benchmarks using three embedding models. Our results show that incorporating prompt embeddings yields consistent improvements, particularly for interaction-dependent violations when paired with causal decoders (e.g., in Llama-3), while response-only violations benefit more from dense semantic embedding representations. These findings opens the door for using dynamical systems to analyze AI systems rather than the dominant paradigm of using AI to model dynamical systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ハイリスクなアプリケーションにますますデプロイされているが、有害な、有害な、あるいはポリシーに違反するコンテンツを生成する傾向は、重大なリスクをもたらす。 これらの安全でない出力をブラックボックス方式で効率的に検出することは、依然としてオープンな課題である。 本稿では,幻覚検出のための動的システムフレームワークをLLMの安全性分類に拡張する。 高次元埋め込み空間にプロンプトと応答の両方を投影し、安全かつ安全でない状態に対してクープマンベースの予測モデルを分離することにより、安全かつ安全でない状態の予測誤差を比較する新しい差分残差スコアを用いて新しい出力を分類する。 重要な貢献は、プロンプトと応答の埋め込みのダイナミクスが組み込まれ、重要な相互作用パターンを捉えるクープマン作用素が得られることである。 3つの組込みモデルを用いて3つの安全性ベンチマークでブラックボックス法の評価を行った。 以上の結果から,特に因果デコーダ(例えばLlama-3)と組み合わせた場合の相互作用依存的違反に対して,迅速な埋め込みを組み込むことで一貫した改善が得られ,応答のみの違反はより密接なセマンティック埋め込み表現の恩恵を受けることが示唆された。 これらの発見は、動的システムのモデリングにAIを使用するという支配的なパラダイムではなく、動的システムを使用してAIシステムを分析するための扉を開く。

関連論文リスト

• Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security [13.404415593709986]
  Adrialversa Prompt Disentanglement (APD)フレームワークは、大規模言語モデルによって処理される前に、入力プロンプト内の悪意あるコンポーネントを特定し、中立化する。 APDは、モデル性能に対する無視的な影響を維持しながら、有害な出力生成を85%以上削減する。 我々の研究は、機械学習のセキュリティにおける新しい攻撃とMLシステムの整合性に関する重要な課題に対処する。
  論文  参考訳（メタデータ） (2026-05-27T01:30:06Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• Enhancing Safety of Large Language Models via Embedding Space Separation [24.821172423424866]
  大きな言語モデル(LLM)は印象的な機能を達成したが、有害なプロンプトに対する安全性を保証することは、依然として重要な課題である。 最近の研究によると、LLMにおける有害で安全なクエリの潜伏表現(埋め込み)は、通常線形分離性を示す。 この観測により,埋め込み空間分離(ES2)という表現レベルの微調整手法を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:22:38Z)
• LVD-GS: Gaussian Splatting SLAM for Dynamic Scenes via Hierarchical Explicit-Implicit Representation Collaboration Rendering [21.615484471658842]
  3次元ガウス散乱SLAMは空間知能における高忠実度マッピングの手法として広く用いられている。 既存の手法は、大規模でダイナミックな屋外シーンでの性能を制限する単一の表現方式に依存していることが多い。 我々は,新しいLiDAR-Visual 3D Gaussian Splatting SLAMシステムである textbfLVD-GS を提案する。
  論文  参考訳（メタデータ） (2025-10-26T13:16:39Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• D-REX: A Benchmark for Detecting Deceptive Reasoning in Large Language Models [62.83226685925107]
  Deceptive Reasoning Exposure Suite (D-REX)は、モデルの内部推論プロセスと最終的な出力との相違を評価するために設計された、新しいデータセットである。 D-REXの各サンプルには、敵システムプロンプト、エンドユーザーのテストクエリ、モデルの一見無害な応答、そして重要なことに、モデルの内部チェーンが含まれている。 我々は、D-REXが既存のモデルと安全メカニズムに重大な課題をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-09-22T15:59:40Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• SAFER: Probing Safety in Reward Models with Sparse Autoencoder [13.390179692415233]
  拡張リワードモデル(textbfSAFER)のためのスパースオートエンコーダを提案する。 我々は、報酬モデルアクティベーションにおける人間解釈可能な特徴を明らかにし、安全関連意思決定の洞察を可能にする。 実験の結果、SAFERは最小限のデータ修正で精度を低下させるか、安全アライメントを強化することができる。
  論文  参考訳（メタデータ） (2025-07-01T11:04:03Z)
• SoK: Prompt Hacking of Large Language Models [5.056128048855064]
  大規模言語モデル(LLM)ベースのアプリケーションの安全性と堅牢性は、人工知能において重要な課題である。 私たちは、ジェイルブレイク、リーク、インジェクションという3つの異なるタイプのプロンプトハッキングについて、包括的で体系的な概要を提供しています。 LLM応答を5つの異なるクラスに分類する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:30:41Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。