論文の概要: PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety

• arxiv url: http://arxiv.org/abs/2609.28197v1
• Date: Wed, 23 Sep 2026 14:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.065058
• Title: PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
• Title（参考訳）: PASTABench: エージェント安全のためのシークエンシャルトラジェクトリーの積極的な評価
• Abstract要約: Decoupled Proactive Safety Monitoringは、介入するかどうか、いつ介入するか、リスクは何かという3つの側面に沿って形式化します。 PASTABenchは5つのリスクカテゴリと13のサブカテゴリにまたがる1,139のマルチターントラジェクトリのベンチマークである。 我々は、干渉タイムラインを定量化するために、アノテートされたEariest-Signal と Trigger のターンで固定された Optimal Intervention Window (OIW) を提案する。
• 参考スコア（独自算出の注目度）: 25.530091490347715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) evolve into autonomous agents that alter real-world states, ensuring operational safety across multi-step workflows has become a critical challenge. While recent work has moved beyond single-turn evaluation toward multi-turn paradigms, key limitations persist: step-level methods treat actions in isolation, missing how risks accumulate, while trajectory-level evaluations operate post-hoc, offering no opportunity for timely intervention. To address these limitations, we formalize Decoupled Proactive Safety Monitoring along three dimensions: whether to intervene, when to intervene, and what the risk is. We introduce PASTABench, a benchmark of 1,139 multi-turn trajectories spanning 5 risk categories and 13 subcategories. We further propose the Optimal Intervention Window (OIW), anchored by annotated Earliest-Signal and Trigger turns, to quantify intervention timeliness. Evaluation of 16 LLMs reveals that proactive intervention remains largely unsolved, with the best model achieving only 40.74% optimal-timing interventions. Fine-grained diagnosis further uncovers pervasive lexical overfitting: competitive safety scores of smaller models mask keyword hypersensitivity rather than genuine risk comprehension, as their proactive capability largely collapses once hazard vocabulary is neutralized.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実の状態を変える自律エージェントへと進化するにつれ、マルチステップワークフロー間の運用上の安全性を保証することが、重要な課題となっている。 ステップレベルのメソッドは分離されたアクションを扱い、リスクがどのように蓄積するかを見逃し、軌道レベルの評価はポストホックを運用し、タイムリーな介入の機会を提供しない。 これらの制限に対処するため、Decoupled Proactive Safety Monitoringは、介入するかどうか、いつ介入するか、リスクは何かという3つの側面に沿って、形式化します。 PASTABenchは5つのリスクカテゴリと13のサブカテゴリにまたがる1,139のマルチターントラジェクトリのベンチマークである。 さらに,警告付Early-Signal と Trigger で固定された Optimal Intervention Window (OIW) を提案する。 16個のLDMの評価では、プロアクティブな介入は未解決のままであり、最良のモデルは40.74%の最適タイミングの介入しか達成していない。 より小さなモデルの競合安全性スコアは、危険語彙が中和されると、そのプロアクティブな能力は大部分が崩壊するので、真のリスク理解よりも、キーワード過敏症をマスクする。

関連論文リスト

• BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
  我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。 Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。 安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
  論文  参考訳（メタデータ） (2026-09-14T20:12:27Z)
• The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents [0.0]
  インターベンションタイミングは信頼性の低い構造であり、シングルアノテータF1を不適切な最適化ターゲットとする。 我々の貢献は、人間のレータ間の信頼性、4つの検出器アーキテクチャ、モデルのLEM-judgeスイープ、再現された飽和効果にまたがるこの問題を、共同でマッピングすることである。
  論文  参考訳（メタデータ） (2026-06-02T23:54:27Z)
• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks [30.535665641990114]
  対話型安全性のために設計された最初のマルチモーダルベンチマークであるIS-Benchを紹介する。 高忠実度シミュレーターでインスタンス化された388のユニークな安全リスクを持つ161の挑戦的なシナリオが特徴である。 これは、特定のリスク発生ステップの前/後においてリスク軽減アクションが実行されるかどうかを検証する、プロセス指向の新たな評価を容易にする。
  論文  参考訳（メタデータ） (2025-06-19T15:34:46Z)
• Activation Approximations Can Incur Safety Vulnerabilities Even in Aligned LLMs: Comprehensive Analysis and Defense [44.01174462291761]
  大規模言語モデル(LLM)は、様々な領域にまたがって顕著な機能を示した。 実用性への影響を最小限に抑えながら、アクティベーション近似の安全性は依然として不明である。 本研究では,アクティベーション近似によって生じる安全性の妥協を緩和する新しい安全性向上手法であるQuadAを提案する。
  論文  参考訳（メタデータ） (2025-02-02T16:25:48Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。