論文の概要: Forecasting Trajectory-Level Safety Risks in Black-Box Multi-Turn Interactions
- arxiv url: http://arxiv.org/abs/2607.26820v1
- Date: Wed, 29 Jul 2026 12:14:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.659952
- Title: Forecasting Trajectory-Level Safety Risks in Black-Box Multi-Turn Interactions
- Title（参考訳）: ブラックボックス・マルチTurnインタラクションにおける予測軌道・レベル安全性リスク
- Abstract要約: 大規模言語モデル(LLM)の安全リスク予測フレームワークであるRecastを提案する。
Recastは、平均リードタイム2.41ターンで将来の安全障害の88.3%を予測し、誤警報率12.3%を維持している。
- 参考スコア（独自算出の注目度）: 13.366980144986707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) evolve from standalone assistants into autonomous agents, ensuring their safety requires shifting beyond pointwise risk assessment to understand how risks emerge and unfold over long-horizon trajectories. In multi-turn interactions, malicious intent can be decomposed across seemingly harmless turns and gradually reconstructed through interaction trajectories, eventually resulting in safety failures. Existing safeguards remain largely reactive, detecting manifested violations while lacking the ability to predict latent risk evolution and enable preemptive prevention. To address this limitation, we propose Recast, a safety risk forecasting framework that advances LLM safeguarding beyond turn-level violation detection to trajectory-level risk prediction. Recast first retrieves risk-relevant evidence from both short-term dialogue progression and long-term historical context via a dual-scale trajectory view. It then models compositional risk evolution by capturing the current risk configuration and its temporal dynamics. Finally, a causal temporal encoder learns latent risk evolution patterns and predicts the distribution of future risk emergence turns. Extensive experiments across 7 risk categories show that Recast predicts 88.3% of future safety failures with an average lead time of 2.41 turns, while maintaining a false alarm rate of 12.3%, showcasing the effectiveness of trajectory-level forecasting in identifying emerging risks before safety violations occur.
- Abstract（参考訳）: 大規模言語モデル(LLM)がスタンドアロンのアシスタントから自律的なエージェントへと進化するにつれて、その安全性はポイントワイドなリスクアセスメントを超えて、長い水平軌道上でのリスクの出現と展開を理解する必要がある。
マルチターン相互作用では、悪意のある意図は一見無害なターンに分解され、相互作用軌跡を通して徐々に再構築され、最終的には安全上の障害となる。
既存の安全ガードは、主に反応し、発覚した違反を検出しながら、潜伏するリスクの進化を予測し、先制予防を可能にする能力が欠如している。
この制限に対処するため,LLMの安全保護をターンレベルの違反検出を超えて軌道レベルのリスク予測に進める安全リスク予測フレームワークであるRecastを提案する。
Recastは、まず、短期対話の進行と長期的歴史的文脈の両方から、二重スケールの軌跡からリスク関連エビデンスを回収する。
次に、現在のリスク構成とその時間的ダイナミクスをキャプチャすることで、構成的リスク進化をモデル化する。
最後に、因果時間エンコーダは潜在リスク進化パターンを学習し、将来のリスク発生傾向の分布を予測する。
7つのリスクカテゴリにわたる大規模な実験により、Recastは平均リードタイム2.41回で将来の安全障害の88.3%を予測し、偽警報率12.3%を維持し、安全違反が起こる前に発生したリスクを識別する軌道レベルの予測の有効性を示している。
関連論文リスト
- TRACES: Proactive Safety Auditing for Multi-Turn LLM Agents via Trajectory-State Modeling [18.58206519209223]
LLMエージェントは、マルチターンツールの使用と環境相互作用によってますます運用される。
ホック後の診断は、しばしば、展開中にリスクをフラグする機会を逃す。
表現に基づくプロアクティブオーディエンスであるTRACESを提案する。
論文 参考訳（メタデータ） (2026-05-26T21:11:02Z) - Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。
安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-14T01:23:09Z) - RiskProp: Collision-Anchored Self-Supervised Risk Propagation for Early Accident Anticipation [16.390547433087185]
事故予測は、ダッシュカムビデオからの差し迫った衝突を予測し、早期警報を発生させることを目的としている。
既存の手法は、手動で注釈付けされた「アノマリー・オンセット」フレームによるバイナリ・インスペクションに依存している。
本稿では,早期の事故予測のための自己監督型リスク伝搬パラダイムであるリスクプロップを提案する。
論文 参考訳（メタデータ） (2026-03-28T07:04:16Z) - Uncertainty-Aware Vision-based Risk Object Identification via Conformal Risk Tube Prediction [7.840136094141999]
既存のアプローチは意思決定を行い、不確実性を無視します。
これらの課題にもかかわらず、現在の手法には、空間と時間にわたって共同でリスクの不確実性をモデル化する原則的な枠組みが欠如している。
本稿では, リスクの原則的不確実性を把握し, 真のリスクに対するカバレッジ保証を提供し, 不確実性を考慮した校正リスクスコアを生成するコンフォーマルリスク予測統一定式化を提案する。
論文 参考訳（メタデータ） (2026-03-25T04:13:42Z) - The Missing Half: Unveiling Training-time Implicit Safety Risks Beyond Deployment [148.80266237240713]
暗黙のトレーニング時間安全リスクは、モデルの内部インセンティブとコンテキスト背景情報によって引き起こされる。
5つのリスクレベル、10つのきめ細かいリスクカテゴリ、3つのインセンティブを持つ分類を導入した。
我々の結果は、過度に見過ごされているが、訓練における緊急の安全上の課題を特定します。
論文 参考訳（メタデータ） (2026-02-04T04:23:58Z) - SafePred: A Predictive Guardrail for Computer-Using Agents via World Models [12.569157125705052]
本稿では,複雑な実環境におけるコンピュータ利用エージェント(CUA)の予測ガードレールフレームワークであるSafePredを紹介する。
このアプローチに基づいて,安全なエージェント動作を確保するためのリスク・ツー・意思決定ループを確立するSafePredを提案する。
大規模な実験の結果、SafePredはリスクの高い振る舞いを著しく減らし、97.6%以上の安全性能を達成し、リアクティブベースラインと比較してタスクユーティリティを最大21.4%改善した。
論文 参考訳（メタデータ） (2026-02-02T07:04:06Z) - Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。
RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。
実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
論文 参考訳（メタデータ） (2025-12-30T14:38:02Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - STRAP: Spatial-Temporal Risk-Attentive Vehicle Trajectory Prediction for Autonomous Driving [0.968535561940627]
本稿では,リスクポテンシャル場を組み込んだ新しい空間的・時間的リスク回避軌道予測フレームワークを提案する。
提案するフレームワークは、解釈可能でリスク対応の予測を提供し、自律運転システムに対するより堅牢な意思決定に寄与する。
論文 参考訳（メタデータ） (2025-07-11T13:05:35Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。