論文の概要: A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns

• arxiv url: http://arxiv.org/abs/2610.02664v1
• Date: Fri, 02 Oct 2026 01:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.157636
• Title: A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns
• Title（参考訳）: 長距離エージェントにおけるGHOST : ターン横断の見過ごされた安全制約から生じるガバナンス
• Abstract要約: 良質な相互作用条件下では、エージェントは、以前に規定された安全制約に違反したアクションを実行することができる。 SAR-Guardは, 過去の意味的安全制約を修復し, 事前実施監査を行う2層防衛システムである。
• 参考スコア（独自算出の注目度）: 7.390938312667051
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon agents are now playing an increasingly significant role in assisting humans with complex problem-solving. However, it is exactly their extended interaction history that introduces an underexplored execution-safety concern. Under benign interaction conditions, an agent may execute an action that violates a safety constraint specified many turns earlier. We term this failure mode Governance Hazard from Overlooked Safety Constraints across Turns (GHOST), which may cause irreversible damage. Our experiments reveal that GHOST events are not isolated cases: this failure mode, occurring precisely under benign interaction conditions, yields an occurrence rate of 11.5% on GPT-5.5. Furthermore, we theoretically show that if the residual conditional violation hazard along each safe prefix is bounded below by a non-summable sequence, the execution enters the hazard region almost surely. Leveraging this theoretical insight, we further propose STAR-Guard, a two-layer defense coupling historical semantic safety constraint restoration with pre-execution audit. STAR-Guard restores applicable safety constraints to reduce unsafe proposals, while its deterministic audit layer prevents residual violations from reaching the environment. Consistent with this two-layer design, we observe no GHOST events in our experiments under the GPT-5.5 setup.
• Abstract（参考訳）: ロングホライゾン・エージェントは、複雑な問題解決を行う人間を助ける上で、ますます重要な役割を担っている。 しかし、それはまさに彼らの拡張されたインタラクション履歴であり、過度に探索された実行セーフティの懸念がもたらされる。 良質な相互作用条件下では、エージェントは、以前に規定された安全制約に違反したアクションを実行することができる。 我々は、この障害モードのガバナンスを、見過ごされる安全制約(GHOST)から逸脱し、不可逆的な損害を引き起こす可能性があると定義する。 実験により,GHOSTイベントは孤立したケースではないことが明らかとなった。この障害モードは,良性相互作用条件下で正確に発生し,GPT-5.5で発生率11.5%となる。 さらに, 各安全接頭辞に沿った残条件違反ハザードが, 持続不可能なシーケンスによって下限に設定されている場合, 実行がほぼ確実にハザード領域に入ることを理論的に示す。 この理論的知見を活かしたSTAR-Guardも提案する。 STAR-Guardは適用可能な安全制約を回復し、安全でない提案を減らす一方、決定論的監査層は残留違反が環境に到達するのを防ぐ。 この2層設計に従えば, GPT-5.5 設定下での実験では GHOST イベントは観測されない。

関連論文リスト

• PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety [25.530091490347715]
  Decoupled Proactive Safety Monitoringは、介入するかどうか、いつ介入するか、リスクは何かという3つの側面に沿って形式化します。 PASTABenchは5つのリスクカテゴリと13のサブカテゴリにまたがる1,139のマルチターントラジェクトリのベンチマークである。 我々は、干渉タイムラインを定量化するために、アノテートされたEariest-Signal と Trigger のターンで固定された Optimal Intervention Window (OIW) を提案する。
  論文  参考訳（メタデータ） (2026-09-23T14:34:45Z)
• Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models [13.286950013891635]
  安全アライメントは、大きな言語モデルに有害な要求を認識し、リスクのある指示を拒否するように教える。 我々は、必ずしも安全に関するものではなく、誤解を招く前提を含む、textbfcunning質問を導入する。 実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。
  論文  参考訳（メタデータ） (2026-09-16T11:46:48Z)
• Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models [18.740561845552833]
  Oyster-IIは強化学習に基づく建設安全アライメントフレームワークである。 Qwen3-14Bと前任のOyster-Iを総合的に上回っている。
  論文  参考訳（メタデータ） (2026-07-03T03:19:39Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• How Brittle is Agent Safety? Rethinking Agent Risk under Intent Concealment and Task Complexity [55.441602598245744]
  LLM駆動エージェントの現在の安全性評価は、主に原子害に焦点を当てており、悪意のある意図が複雑なタスクで隠されたり希釈されたりする高度な脅威に対処できなかった。 このギャップを,意図隠蔽とタスク複雑性の圧力下でのエージェントの安全性の脆さを二次元的に解析することで解決する。 目的が明確になるにつれて、安全アライメントは急激かつ予測的に低下し、「複雑パラドックス」が出現する。
  論文  参考訳（メタデータ） (2025-11-11T17:27:27Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• Learning to Act Safely with Limited Exposure and Almost Sure Certainty [1.0323063834827415]
  本稿では,未知の環境における安全な行動を取るための学習を,探索試験を必要とせずに実現できるという考えを提唱する。 本稿では,まず標準的マルチアームバンディット問題に着目し,不確実性の存在下での学習安全性の本質的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2021-05-18T18:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。