論文の概要: Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios

• arxiv url: http://arxiv.org/abs/2605.03242v1
• Date: Tue, 05 May 2026 00:21:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.691894
• Title: Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios
• Title（参考訳）: エージェントの安全性判断の強化:知覚的アウト・オブ・ディストリビューションシナリオに対するベンチマーク書き換えとアナロジー推論の制御
• Authors: Zuoyu Zhang, Yancheng Zhu,
• Abstract要約: ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。 ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-using agent systems powered by large language models (LLMs) are increasingly deployed across web, app, operating-system, and transactional environments. Yet existing safety benchmarks still emphasize explicit risks, potentially overstating a model's ability to judge deceptive or ambiguous trajectories. To address this gap, we introduce ROME (Red-team Orchestrated Multi-agent Evolution), a controlled benchmark-construction pipeline that rewrites known unsafe trajectories into more deceptive evaluation instances while preserving their underlying risk labels. Starting from 100 unsafe source trajectories, ROME produces 300 challenge instances spanning contextual ambiguity, implicit risks, and shortcut decision-making. Experiments show that these challenge sets substantially degrade safety-judgment performance, with hidden-risk cases remaining particularly non-trivial even for recent frontier models. We further study ARISE (Analogical Reasoning for Inference-time Safety Enhancement), a retrieval-guided inference-time enhancement that retrieves ReAct-style analogical safety trajectories from an external analogical base and injects them as structured reasoning exemplars. ARISE improves judgment quality without retraining, but is best viewed as a task-specific robustness enhancement rather than a standalone safety guarantee. Together, ROME and ARISE provide practical tools for stress-testing and improving agent safety judgment under deceptive distribution shifts.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したツール利用エージェントシステムは、Web、アプリ、オペレーティングシステム、トランザクション環境にまたがってますます普及している。 しかし、既存の安全ベンチマークは明確なリスクを強調しており、モデルが偽りや曖昧な軌跡を判断する能力を過大評価している可能性がある。 このギャップに対処するため、私たちはROME(Red-team Orchestrated Multi-agent Evolution)を導入しました。 ROMEは100の安全でないソーストラジェクトリから始まり、コンテキストの曖昧さ、暗黙のリスク、意思決定のショートカットにまたがる300のチャレンジインスタンスを生成する。 実験の結果,近年のフロンティアモデルにおいても隠れリスクケースは特に非自明なままであり,安全判断性能は著しく低下していることがわかった。 さらに、ARISE(Analogical Reasoning for Inference-time Safety Enhancement)は、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、構造化推論例として注入する検索誘導型推論時間拡張法である。 ARISEは、再訓練なしに判断品質を向上させるが、独立した安全保証ではなく、タスク固有の堅牢性向上と見なされている。 ROME と ARISE は共に, 虚偽分布シフトによるストレステストとエージェントの安全性判断の改善のための実用的なツールを提供する。

関連論文リスト

• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• Beyond single-channel agentic benchmarking [0.0]
  本稿では,AIエージェントを分離して評価することで,人間のループ環境に配置した場合の運用上の安全性が低下すると主張している。 にもかかわらず、不完全なAIシステムでさえ、十分に文書化された人間の失敗の原因に対して冗長な監査レイヤーとして機能することで、かなりの安全性を提供することができる。
  論文  参考訳（メタデータ） (2026-02-05T08:22:02Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
  インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。 LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。 このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
  論文  参考訳（メタデータ） (2025-09-08T15:24:33Z)
• AURA: Affordance-Understanding and Risk-aware Alignment Technique for Large Language Models [6.059681491089391]
  AURAは論理的一貫性と安全性を認識した総合的、段階的な評価を提供する。 本フレームワークは, 内省的自己批判, きめ細かいPRM評価, 適応型安全認識復号をシームレスに結合する。 この研究は、アライメントに敏感なアプリケーションのための新しいベンチマークを設定することで、より安全で責任があり、コンテキストに敏感なAIに向けた重要なステップである。
  論文  参考訳（メタデータ） (2025-08-08T08:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。