論文の概要: HARDE: Optimizing Agent Harnesses for Runtime Risk Detection and Execution Control

• arxiv url: http://arxiv.org/abs/2609.38291v1
• Date: Tue, 29 Sep 2026 17:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.491609
• Title: HARDE: Optimizing Agent Harnesses for Runtime Risk Detection and Execution Control
• Title（参考訳）: HARDE:実行時リスク検出と実行制御のためのエージェントハーネスの最適化
• Abstract要約: 大規模言語モデル(LLM)エージェントは、悪意のある命令を注入したり、情報を誤解させるような安全リスクに対して脆弱である。 フレキシブルなリスク検出のためのモニタリングと,監視誘導型実行構造を統合したリスク認識型ハーネスを提案する。
• 参考スコア（独自算出の注目度）: 56.168390595144984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are vulnerable to safety risks such as injected malicious instructions or misleading information, motivating runtime defenses that prevent unsafe action in execution across diverse risks while preserving benign-task utility. Existing system-level defenses either focus on risk detection rather than timely prevention or rely on predefined rules with limited flexibility across diverse risks. We propose a risk-aware harness that integrates LLM-based monitoring for flexible risk detection and structures monitor-guided execution around three core modules: trigger, monitor, and feedback, enabling targeted safety interventions while limiting disruption to benign task execution. To adapt the harness to different risks and deployment settings, we introduce HARDE, a two-stage harness optimization framework that first performs isolated probing of each module to derive an optimization guide, then uses this guide to iteratively optimize the harness based on safety and utility feedback. Experiments across three attack benchmarks show that HARDE improves runtime safety while preserving utility, outperforming manually designed harnesses and naive optimization baselines. Our analysis shows that effective runtime defense benefits from complementary safety mechanisms, attack-aware harness optimization, and harness designs matched to monitor capabilities. Our code is available at https://github.com/Liuz233/HARDE.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、悪意のある命令を注入したり、情報を誤解させるような安全リスクに弱い。 既存のシステムレベルの防御は、タイムリーな予防よりもリスク検出に重点を置いているか、あるいはさまざまなリスクにまたがる柔軟性に制限された事前定義されたルールに依存している。 本稿では,LSMをベースとしたリスク検出と,トリガ,監視,フィードバックの3つのコアモジュールを中心とした監視誘導実行を統合したリスク対応ハーネスを提案する。 HARDEは、まず各モジュールの分離した探索を行い、最適化ガイドを導出する2段階の最適化フレームワークであり、その後、安全とユーティリティフィードバックに基づいてハーネスを反復的に最適化するためにこのガイドを使用する。 3つのアタックベンチマークの実験によると、HARDEはユーティリティを保ちながら実行時の安全性を改善し、手動設計のハーネスよりも優れたパフォーマンスと、素早い最適化ベースラインを実現している。 分析の結果, 協調安全機構やアタック・アウェア・ハーネスの最適化, および監視機能に適合したハーネス設計による効果的なランタイム防御効果が示唆された。 私たちのコードはhttps://github.com/Liuz233/HARDE.comで公開されています。

関連論文リスト

• SafeHarbor: Hierarchical Memory-Augmented Guardrail for LLM Agent Safety [10.846727385398589]
  悪意のあるアクターは、Large Language Model (LLM)エージェントを操作して、有害なコンテンツを生成するツールを実行することができる。 textscSafeHarborは、LLMエージェントの正確な決定境界を確立するために設計された新しいフレームワークである。 textscSafeHarborは曖昧な良質なタスクと明示的な悪意のある攻撃の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-07T05:50:45Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
  軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。 実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-01-23T07:12:53Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
  大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。 安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。 この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
  論文  参考訳（メタデータ） (2025-10-02T16:43:33Z)
• SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning [51.78514648677898]
  我々は,eFficient Ex-Ante Reasoningによる安全アライメントの枠組みであるSAFERを提案する。 提案手法は,初期評価,ルール検証,経路校正などを通じて,構造化されたex-Ante推論をインスタンス化する。 複数のオープンソース LLM の実験により,SAFER は有用性と応答効率を保ちながら安全性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-04-03T16:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。