論文の概要: AERIC: Anticipatory Hidden-State Monitoring for Implicit Harmful Dialogue

• arxiv url: http://arxiv.org/abs/2605.23974v1
• Date: Wed, 13 May 2026 14:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:42.991345
• Title: AERIC: Anticipatory Hidden-State Monitoring for Implicit Harmful Dialogue
• Title（参考訳）: AERIC:無害対話のための予測隠れ状態モニタリング
• Abstract要約: 現在の言語モデルでは、有害な継続を避けるためにリスクを早期に検出しなければなりません。 安全モニタが通常の復号時に発生する隠蔽状態を読み取ることができるが、ベースモデルへの追加のフォワードパスを起動しない予測的同パス監視について検討する。 AERICは, 短水平ハザード予測, サポート感度抑制, 即時条件付残留スコアを同一パスの指数的移動平均決定規則の下で組み合わせた, 暗黙的有害対話のための移動指向型隠れ状態アプローチである。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current language models create two safety challenges: risk must be detected early enough to avoid exposing harmful continuation, and the harmfulness itself may be implicit rather than signaled by overtly toxic text. Existing response-level guards are strong at judging completed text, and native streaming guards move closer to token time, but both settings leave open whether a lightweight monitor can anticipate implicit harmful drift from the generator's own internal trajectory. We study anticipatory same-pass monitoring, where a safety monitor may read hidden states produced during ordinary decoding but may not invoke an additional forward pass through the base model. We introduce AERIC, a transfer-oriented hidden-state approach for implicit harmful dialogue that combines short-horizon hazard forecasting, support-sensitive suppression, and prompt-conditioned residual scoring under a same-pass exponential moving average decision rule. The default linear monitor contains only 387 trainable head parameters. Against Qwen3GuardStream-4B on balanced benchmarks, AERIC improves AUROC from 0.6830 to 0.7143 on DiaSafety and from 0.8219 to 0.8582 on Harmful Advice. For promptlevel trigger benchmarks, we calibrate the AERIC threshold by a source-side safe-budget rule that maximizes trigger coverage while constraining the safe-trigger rate to at most 10%. Under that rule, trigger@64 reaches 0.6438 and 0.4656 on HarmBench DirectRequest and 0.6849 and 0.7363 on SocialHarmBench for Qwen and Gemma, respectively, withholding between 23.53 and 41.86 answer tokens on average. Same-pass deployment is also efficient: on a 63-prompt harmfulprompt fixed-generation benchmark aggregated over HarmBench DirectRequest and SocialHarmBench under Qwen3-8B, the monitor increases mean latency by only 2.34%, whereas Qwen3Guard-Stream-4B increases it by 79.40%.
• Abstract（参考訳）: 現在の言語モデルでは、有害な継続を避けるためにリスクを早期に検出しなければなりません。 既存の応答レベルガードは、完了したテキストを判断する能力が強く、ネイティブストリーミングガードはトークンタイムに近づくが、どちらの設定も、軽量モニタが発電機の内部軌道から暗黙の有害なドリフトを予測できるかどうかを未然に保つ。 安全モニタが通常の復号時に発生する隠蔽状態を読み取ることができるが、ベースモデルへの追加のフォワードパスを起動しない予測的同パス監視について検討する。 AERICは, 短水平ハザード予測, サポート感度抑制, 即時条件付残留スコアを同一パスの指数的移動平均決定規則の下で組み合わせた, 暗黙的有害対話のための移動指向型隠れ状態アプローチである。 デフォルトのリニアモニターは387個のトレーニング可能なヘッドパラメータのみを含む。 Qwen3GuardStream-4Bをベンチマークで比較すると、AERICはAUROCをDiaSafetyで0.6830から0.7143に改善し、Harmful Adviceで0.8219から0.8582に改善した。 即時トリガーベンチマークでは、安全トリガー率を10%以上に制限しながら、トリガーカバレッジを最大化するソースサイドのセーフ予算ルールにより、AERIC閾値を調整します。 このルールの下で、 trigger@64 は HarmBench DirectRequest で 0.6438 と 0.4656、SocialHarmBench for Qwen と Gemma で 0.6849 と 0.7363 に達し、平均 23.53 と 41.86 の応答トークンが保持されている。 Qwen3-8Bの下でHarmBench DirectRequestとSocialHarmBenchに集約された63プロンプトの有害プロンプト固定世代ベンチマークでは、モニターは平均遅延をわずか2.34%増加させ、Qwen3Guard-Stream-4Bは79.40%増加させた。

関連論文リスト

• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
  大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。 我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。 グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
  論文  参考訳（メタデータ） (2026-08-01T08:24:30Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI [0.152292571922932]
  SAGEは安全第一、認可分離アーキテクチャである。 署名されたリリースマニフェスト、多様な検知器、堅牢なリスクエンベロープ、最小リスクデフォルト、アウトプットチェック、保護された監査チェーン、封じ込め、ロールバックを組み合わせる。 正式な結果は、安全性の優先、保守的な検出器境界、モノトーン放出ゲーティング、タンパー証拠記録、認可カットを確立する。
  論文  参考訳（メタデータ） (2026-07-24T21:36:28Z)
• Harnessing Disagreement: Detecting Correlated Agreement Blindness in Multi-Agent Triage [3.164789424470588]
  分散トリガー付きエスカレーションは、マルチエージェント仲裁において構造的な盲点を生み出すことができる。 本稿では,誘導性ランダムフォレスト (RF) エージェントと類似のケースベースk-アネレスト (k-NN) エージェントを組み合わせた指向性星系ARATを提案する。
  論文  参考訳（メタデータ） (2026-07-22T08:35:00Z)
• PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning [54.70033525672316]
  ビデオ対応の大型言語モデル(MLLM)は、このウィンドウ内で警告を発する常時オンの安全モニタとして機能する。 今回紹介するPaSBench-Videoは、481のリスクと4つのドメインにわたる259のリスクビデオを備えた740のビデオベンチマークだ。 最も厳密な基準ではモデルが20.0%を超えることはなく、リコールは偽陽性率と強く結びついている。
  論文  参考訳（メタデータ） (2026-06-01T16:14:01Z)
• Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense [37.10272384523361]
  我々は、各検出器のサンプルごとの信頼性と遅延を、同様の過去の入力に対する動作から予測するためのフレームワークを開発する。 SCOUT-450は、古いプロンプトインジェクションが表現下にある構造的に複雑でエージェント対応のインジェクションをキャプチャするベンチマークである。 SCOUT-450では、安全指向の動作点が攻撃発生率を46%減らし、壁時計全体の40%減らした。
  論文  参考訳（メタデータ） (2026-05-29T04:49:20Z)
• Boiling the Frog: A Multi-Turn Benchmark for Agentic Safety [2.661610409070365]
  ツール使用のAIモデルがインクリメンタルアタックの影響を受けやすいかどうかを評価するベンチマークであるBoiling the Frogを紹介した。 シナリオは3段階の運用リスク分類によって編成される。 9モデルパネル全体では、総攻撃成功率(ASR)は44.4%である。
  論文  参考訳（メタデータ） (2026-05-21T15:50:18Z)
• Measuring Safety Alignment Effects in Autonomous Security Agents [3.93181912653522]
  セキュリティエージェントは、レポジトリを検査し、ツールを呼び出し、認証されたサンドボックス内で脆弱性証拠を生成する必要がある。 固定ツール、決定論的成功予測、リアクションルール、グラウンドチェックを備えた30のローカル脆弱性分析タスクのトレースベースのベンチマークを示す。 自律型セキュリティエージェントの安全性アライメント効果をシステムレベルで測定し, 拒絶, 不安全行動, ツール信頼性, 根拠を分離する。
  論文  参考訳（メタデータ） (2026-05-19T11:55:54Z)
• Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering [18.59581013500335]
  大きな推論モデルは、透明性、検証、意図的な問題解決のためのチェーンオブ思考のような推論を公開する。 有害またはポリシー違反のコンテンツは、最終回答が安全に見える場合でも、トレースを推論して現れる可能性がある。 両段階を統一された20基の安全ルーリックの下で評価することにより, 最終回答の安全性が完全な推論・回答軌道の十分なプロキシであるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-05-07T05:12:56Z)
• Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B [0.0]
  Semalith v1.4は、即時注入、一般害、金融サービス規制コンプライアンスを含む3軸安全分類を同時に実施する。 22級のヘッドは4級の補助的なスーパーカテゴリーのヘッドで、重み付けされた損失で訓練されている。 v1.4は全てのプロンプトインジェクション評価(7/7)と18のベンチマークのうち11が44倍のパラメータで勝利し、FPR = 0.000が208個のエージェントプロンプトに対して0.063がLlama-Guard-3-8Bである。
  論文  参考訳（メタデータ） (2026-05-06T10:14:30Z)
• MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
  コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。 199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。 9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
  論文  参考訳（メタデータ） (2026-05-05T16:38:23Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
  ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。 リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。 1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
  論文  参考訳（メタデータ） (2026-04-02T13:26:20Z)
• SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do [0.0]
  SafetyDriftモデルでは、安全軌道をマルコフ連鎖の吸収として扱う。 コミュニケーションタスクでは、軽度のリスク状態にまで達するエージェントは、5段階以内に安全を侵害する確率が85%である。 これらのモデル上に構築されたモニターは94.7%の違反を検知し、3.7ステップの事前警告を無視可能な計算コストで行う。
  論文  参考訳（メタデータ） (2026-03-28T05:52:04Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。