論文の概要: Predictive Safety Guardrails Do Not Always Make LLM Agents Safer

• arxiv url: http://arxiv.org/abs/2611.02815v1
• Date: Mon, 02 Nov 2026 09:19:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 12:05:41.606618
• Title: Predictive Safety Guardrails Do Not Always Make LLM Agents Safer
• Title（参考訳）: LLMの安全ガードレールは必ずしも安全ではない
• Abstract要約: 大規模言語モデルエージェントは、デジタルおよび物理環境において、複数の相互作用ステップの後にのみ安全リスクが発生するような、連続的な行動をとる傾向にある。 これは、実行前に将来の結果を予測する世界モデル駆動の予測安全ガードレールを動機付けている。 既存の評価は、信頼性の高い予測と予測されるリスクの忠実な使用から安全が生じるかどうかを未然に残して、エンドツーエンドの安全性結果に重点を置いている。
• 参考スコア（独自算出の注目度）: 50.35407127911086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents increasingly take consequential actions in digital and physical environments, where safety risks may emerge only after multiple interaction steps. This has motivated world-model-driven predictive safety guardrails, which anticipate future consequences before execution. However, existing evaluations largely focus on end-to-end safety outcomes, leaving unclear whether safety gains arise from reliable prediction and faithful use of predicted risks. In this work, we systematically diagnose the prediction-to-action pipeline along three dimensions: how world-model predictions are integrated into decision making, whether the predictions themselves are reliable, and whether their content is faithfully used. Across seven policy models and two safety environments, we find that stronger prediction involvement does not yield monotonic safety gains and can reduce task completion while substantially increasing inference cost. We further find that world-model predictions remain insufficiently reliable, especially over longer horizons, where safety prediction degrades substantially relative to near-term forecasting. Finally, we find that safety gains can persist even under corrupted predictions, while locally verified predictions still leave subsequent safety violations, showing that predictive content is not faithfully incorporated into the decision process. Together, these findings expose a fundamental prediction-to-action gap in current predictive guardrails: producing more or seemingly accurate foresight is insufficient unless that foresight is both reliable and faithfully translated into safer decisions.
• Abstract（参考訳）: 大規模言語モデルエージェントは、デジタルおよび物理環境において、複数の相互作用ステップの後にのみ安全リスクが発生するような、連続的な行動をとる傾向にある。 これは、実行前に将来の結果を予測する世界モデル駆動の予測安全ガードレールを動機付けている。 しかし、既存の評価は主にエンド・ツー・エンドの安全性の成果に焦点を当てており、信頼性の高い予測と予測されるリスクの忠実な利用によって安全性が向上するかどうかは不明のままである。 本研究では,世界モデル予測が意思決定にどのように統合されるか,予測自体が信頼できるか,コンテンツが忠実に使用されているか,という3つの側面に沿って,予測から行動へのパイプラインを体系的に診断する。 7つの政策モデルと2つの安全環境にまたがって、より強い予測関与は単調な安全向上をもたらしず、推論コストを大幅に増加させながらタスク完了を減らすことができる。 さらに,安全性の予測が短期予測と比較して著しく低下する長期地平線上では,世界モデル予測が信頼性に乏しいことが確認された。 最後に, 安全性の上昇は, 腐敗した予測の下でも持続するが, 局所的に検証された予測は, 依然としてその後の安全違反を残さず, 予測内容が決定プロセスに忠実に組み込まれていないことを示す。 これらの発見は、現在の予測ガードレールにおいて、基本的な予測と行動のギャップを明らかにしている: より正確あるいは一見したフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアフォアを信頼性と忠実に変換し、より安全な決定に変換しない限り、より正確に予測できる。

関連論文リスト

• Beyond Plausible Prediction: Safety Sufficiency in Web World Models [61.50474448579379]
  ウェブワールドモデルはエージェントが行動する前に候補行動の結果を予測する傾向にあるが、予測可能な未来は必ずしも正しい安全判断を支持するとは限らない。 いくつかのモデルは高度に非対称なオーソライゼーションの振る舞いを示し、低いフェイルセーフの実行と、解明可能なASKのケースのリコールを組み合わせている。 予測インターフェースが、UTEDされたり、ASKによる明確化を必要としたり、あるいはBLOCKEDでなければならないアクションを識別するために必要とされるポリシー決定情報を保存し公開するかどうか。
  論文  参考訳（メタデータ） (2026-10-29T18:00:55Z)
• Reliability-aware short-term roll prediction for unmanned surface vehicles via multi-task learning and adaptive centralization [29.45460800392745]
  本稿では,信頼度評価を予測パイプラインに統合する信頼性を考慮した予測パラダイムを提案する。 実時間データセットを用いた実験により,提案手法が予測結果の信頼性を効果的に評価できることが実証された。
  論文  参考訳（メタデータ） (2026-10-01T03:33:22Z)
• Safety Monitoring for Learning-Enabled Cyber-Physical Systems in Out-of-Distribution Scenarios [17.629563106665557]
  OODデータに対して堅牢な方法で安全性を直接監視することを提案する。 我々の安全モニターは適応型コンフォーマル予測と漸進学習を組み合わせた新しい組み合わせも使用しています。
  論文  参考訳（メタデータ） (2025-04-18T05:42:37Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Risk-Aware Vehicle Trajectory Prediction Under Safety-Critical Scenarios [25.16311876790003]
  本稿では,安全クリティカルシナリオに適したリスク対応軌道予測フレームワークを提案する。 安全クリティカルな軌道予測データセットと調整された評価指標を導入する。 その結果,モデルの性能が向上し,ほとんどの指標が大幅に改善した。
  論文  参考訳（メタデータ） (2024-07-18T13:00:01Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Propagating State Uncertainty Through Trajectory Forecasting [34.53847097769489]
  軌道予測は(雑音の多い)上流の知覚によって入力が生成されるため不確実性に囲まれている。 ほとんどの軌道予測法は上流の不確かさを考慮せず、最も類似した値のみを取る。 本稿では,新しい統計的距離に基づく損失関数である軌道予測において,知覚状態の不確実性を取り入れた新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T08:51:16Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。