論文の概要: Agent Safety From Within: Detecting Harmful Trajectories from LLM Internal States

• arxiv url: http://arxiv.org/abs/2609.33039v1
• Date: Sun, 27 Sep 2026 00:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:02:07.219057
• Title: Agent Safety From Within: Detecting Harmful Trajectories from LLM Internal States
• Title（参考訳）: LLM内部状態から有害な軌道を検出するエージェントの安全性
• Abstract要約: 我々は、有害なコンテンツと安全でないツールの使用という、2種類のトラジェクトリレベルのエージェント害に焦点を当てる。 オープンソースガードモデルがこれらの2種類の害をどのように表現しているかを調査し、モデル内で線形に読み取ることができることを示す。 フリーズバックボーンの内部状態の読み出しであるTACITを導入し、トークンをデコードしない。
• 参考スコア（独自算出の注目度）: 9.757929981610632
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language model agents can now perform sophisticated sequences of actions via tools and harnesses, which has increased the scope of the damage they can cause. Guard models, however, are mainly built for content moderation and thus are not well-suited to detecting this agentic risk. To address this, we proceed by first conducting a representational analysis, then use the resulting insights to build a solution. In our analysis, we focus on two types of trajectory-level agentic harms: harmful content, which is expressed directly, and unsafe tool use, which depends on whether an action is consistent with the interaction that produced it. We investigate how open-source guard models represent these two types of harm and find that they are linearly readable inside the model, even though guard models predict no better than chance on pairs that differ only in the called tool's schema. The two harm types also follow nearly orthogonal internal directions, and neither reliably serves as a proxy for the other. These results motivate reading trajectory safety directly from internal states. We introduce TACIT, a readout of a frozen backbone's internal states that decodes no tokens. Trained on six trajectory-safety benchmarks, a linear probe raises mean macro-F1 from 62.3 for the strongest open guard to 80.7, and refined readouts reach 86.2. With each benchmark held out of training entirely, the refined readouts still lead the strongest guard (65.7 vs. 61.1). With the same backbone, training data and test split, the frozen readout is on par with full safety fine-tuning, and it improves the fine-tuned model further when applied on top. The probe trains about one millionth as many parameters as full fine-tuning in about a sixth of the time, and TACIT has the lowest latency of the guards we evaluate.
• Abstract（参考訳）: 言語モデルエージェントは、ツールやハーネスを通じて洗練されたアクションのシーケンスを実行できるようになった。 しかし、ガードモデルは、主にコンテンツモデレーションのために構築されており、このエージェントリスクを検出するのに適していない。 これを解決するために、まずまず表現分析を行い、次に結果の洞察を使ってソリューションを構築します。 本分析では, 直接的に表現される有害なコンテンツと, 生成した相互作用と作用が一致しているかどうかに依存する安全でないツールの使用という, トラジェクトリレベルのエージェント的害の2つのタイプに着目した。 我々は、オープンソースのガードモデルがこれらの2種類の害をどのように表現しているかを調査し、それらがモデル内で線形に読み取れることを発見した。 2つのハームタイプは、ほぼ直交した内部方向も追従し、どちらも他方のプロキシとして確実に機能しない。 これらの結果は、内部状態から直接読み書きの安全を動機付けている。 フリーズバックボーンの内部状態の読み出しであるTACITを導入し、トークンをデコードしない。 6つの軌道安全ベンチマークで訓練され、線形プローブは62.3から平均マクロF1を80.7に引き上げ、改良された読み出しは86.2に到達した。 それぞれのベンチマークが完全にトレーニングから外れたため、改良された読み出しは依然として最強のガード(65.7対61.1)を導いた。 同じバックボーン、トレーニングデータ、テストスプリットで、凍結された読み出しは完全な安全性の微調整と同等であり、上部に装着するとさらに細調整されたモデルが改善される。 調査では、約6分の1の精度で、約100万分の1のパラメータをトレーニングしています。

関連論文リスト

• The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs [1.4323566945483497]
  我々は、"拒絶方向"を分離するゼロ最適化フレームワークであるContrastive Logit Steering (CLS)を紹介した。 CLSは出力分布を直接操作し、アライメントの診断プローブとして機能する。 7つのモデルファミリーに関する実験により、安全実装がアーキテクチャ上決定論的であることが判明した。
  論文  参考訳（メタデータ） (2026-06-21T22:04:48Z)
• Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs [70.81495077853673]
  ハードゲートのセーフティチェッカーは、しばしばベンダーのモデル仕様に過度に反抗し、不平を言う。 この研究は、ガーディアン・アズ・ア・アドバイザ(GaaA)というソフトゲーティングパイプラインを導入し、保護者がバイナリリスクラベルを予測し、このアドバイスを元のクエリに再推論する。 全体として、GaaAはモデル仕様に従うようモデルに指示し、過度な拒絶を減らしながら安全性を維持している。
  論文  参考訳（メタデータ） (2026-04-08T23:47:29Z)
• TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories [20.868825285848196]
  安全ガードレールは、自然言語の応答には適しているが、その有効性は、多段階のツール使用軌跡の中では明らかにされていない。 このギャップに対処するために、中間軌道安全性を評価するために特別に設計された最初の包括的なベンチマークであるStructureSafe-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-04-08T15:46:14Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Language Model Unalignment: Parametric Red-Teaming to Expose Hidden Harms and Biases [32.2246459413988]
  Red-teamingは、モデルの安全行動をジェイルブレイクして、クエリの有害性を無視した有用なエージェントとして機能させることを目的としている。 我々は、安全研究、すなわち、Unalignmentを通してのレッドチームについて、新しい視点を提示する。 統一性はモデルパラメータを調整し、モデルの振舞いに深く根付いていないモデルガードレールを壊す。
  論文  参考訳（メタデータ） (2023-10-22T13:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。