論文の概要: JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety

• arxiv url: http://arxiv.org/abs/2607.19913v1
• Date: Wed, 22 Jul 2026 08:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.033031
• Title: JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
• Title（参考訳）: JANUS:長期エージェントの安全性のリスクを予見
• Abstract要約: そこで本稿では,警備員が部分軌跡からの遅延リスクを予測できるように,長距離エージェント安全のための枠組みを提案する。 ジャヌスはマルチエージェントシミュレーションにより多様なエージェント軌道を合成し、2つの結合されたタスクで共有ポリシーを学ぶ。 結果として生じるガードモデルであるVanguardは、実行前に安全でないアクションをブロックする。
• 参考スコア（独自算出の注目度）: 28.532793997838905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent safety is moving from content moderation toward preventing operational failures before tool-using agents act. We propose Janus, a foresight-oriented framework for long-horizon agent safety that trains guards to anticipate delayed risks from partial trajectories. Janus synthesizes diverse agent trajectories via multi-agent simulation and learns a shared policy with two coupled tasks: an anticipation task that forecasts safety-relevant futures and an adjudication task that decides safety from both the observed prefix and anticipated future. The two tasks are jointly optimized with CoAA-RL, which rewards forecasts by their utility for downstream safety judgment. The resulting guard model, Vanguard, blocks unsafe actions before execution. Across four agent-safety benchmarks, Vanguard improves average protection by 15.9 percentage points over baseline guards while increasing benign task completion by 5.1 percentage points.
• Abstract（参考訳）: エージェントの安全性は、ツール使用エージェントが動作する前に、コンテンツモデレーションから運用上の障害防止へと移行している。 我々は,長距離エージェント安全のための監視指向フレームワークであるJanusを提案し,ガードが部分軌道からの遅延リスクを予測できるように訓練する。 ジャヌスはマルチエージェント・シミュレーションを通じて多様なエージェント・トラジェクトリを合成し、2つの複合タスクで共通ポリシーを学ぶ: 安全関連未来を予測する予測タスクと、観察されたプレフィックスと予測される未来の両方から安全を決定する判断タスクである。 2つのタスクはCoAA-RLと共同で最適化されている。 結果として生じるガードモデルであるVanguardは、実行前に安全でないアクションをブロックする。 4つのエージェントセーフティベンチマークで、ファンガードはベースラインガードよりも平均的保護率を15.9%向上し、良質なタスク完了率を5.1ポイント向上させた。

関連論文リスト

• StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
  StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。 StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。 AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
  論文  参考訳（メタデータ） (2026-08-25T16:17:27Z)
• The Cold-Start Safety Gap in LLM Agents [25.95386115331387]
  会話を通して、ツールコールエージェントが等しく安全かどうかを調査する。 セッションの開始時に最も脆弱で、いくつかの通常のエージェントタスクの後、かなり安全になる。 我々は、安全クリティカルな要求に晒される前に、エージェントにいくつかの通常のエージェントタスクを完了させることを推奨する。
  論文  参考訳（メタデータ） (2026-06-05T21:58:19Z)
• From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
  ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T07:34:35Z)
• VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
  Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。 VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。 目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:42:17Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Pro2Guard: Proactive Runtime Enforcement of LLM Agent Safety via Probabilistic Model Checking [8.970702398918924]
  大規模言語モデル(LLM)エージェントは、ロボット工学、仮想アシスタント、Webオートメーションといった分野にまたがる強力な自律能力を示す。 AgentSpecのような既存のルールベースの執行システムは、リアクティブな安全ルールの開発に重点を置いている。 本稿では,確率的到達可能性解析に基づくプロアクティブ実行時実行フレームワークPro2Guardを提案する。
  論文  参考訳（メタデータ） (2025-08-01T10:24:47Z)
• GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
  安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。 特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。 GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
  論文  参考訳（メタデータ） (2024-06-13T14:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。