論文の概要: HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses
- arxiv url: http://arxiv.org/abs/2608.06984v1
- Date: Fri, 07 Aug 2026 09:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.425224
- Title: HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses
- Title（参考訳）: HarnessSafe: エージェントのハーネスにおける永続的キャリア間の安全性の評価
- Abstract要約: ハーネスは、メモリ、スキル、ツール、共有アーティファクトといった永続的なキャリアを通じて、タスクやセッションをまたいだ状態を持続する。
攻撃者の影響のあるコンテンツは、システムの境界を越えて、その後、良心的な要求の実行に影響を与える可能性がある。
HarnessSafeは、7つの永続キャリアーファミリーで328の実行可能なケースからなるベンチマークであり、ほとんどのメインストリームエージェントハーネスで評価される。
- 参考スコア（独自算出の注目度）: 20.04545361404688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern agent harnesses persist state across tasks and sessions through persistent carriers like memory, skills, tools, and shared artifacts. However, this capability creates delayed safety risks: attacker-influenced content can cross system boundaries and later affect the execution of a benign request. Existing benchmarks typically focus on a few carriers or harnesses, while end-to-end attack-success rates reveal little about how risks propagate. To this end, we present HarnessSafe, a benchmark comprising 328 executable cases across seven persistent-carrier families and evaluated on most mainstream agent harnesses. Each case is specified as a Persistent-Risk Lifecycle that traces attacker influence from its initial entry, through persistence across carriers and system boundaries, to a later benign trigger and an observable violation. We further introduce a multi-stage, trace-based evaluation that uses observable execution evidence to determine how far each attack chain progresses and where it is stopped. Experiments show that containment is carrier-specific and strongly depends on the harness-model configuration. Both the harness and model backend substantially shape containment outcomes, while attack success rates cannot reflect distinct lifecycle progression patterns.
- Abstract（参考訳）: 現代のエージェントは、メモリ、スキル、ツール、共有アーティファクトといった永続的なキャリアを通じて、タスクやセッションをまたいだ永続的な状態を利用する。
攻撃者の影響のあるコンテンツは、システムの境界を越えて、後に良心的な要求の実行に影響を与える可能性がある。
既存のベンチマークでは、いくつかのキャリアやハーネスに重点を置いているのに対して、エンドツーエンドのアタック・サクセスレートでは、リスクの伝播についてはほとんど明らかになっていない。
この目的のために、ハーネスセーフ(HarnessSafe)は、7つの永続キャリアーファミリーで328の実行可能なケースからなるベンチマークであり、ほとんどのメインストリームエージェントハーネスで評価される。
各ケースはPersistent-Risk Lifecycleとして指定され、キャリアとシステム境界間の永続性から、後続の良心的なトリガと観測可能な違反まで、攻撃者の影響をトレースする。
さらに、観測可能な実行証拠を用いて、各攻撃チェーンがどこまで進行し、どこで停止するかを判断する、多段階のトレースベースの評価も導入する。
実験によると、封じ込めはキャリア固有のものであり、ハーネスモデルの構成に強く依存している。
ハーネスとモデルのバックエンドはどちらも実質的に包含結果を形成するが、アタックの成功率は、明確なライフサイクルの進行パターンを反映することはできない。
関連論文リスト
- BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。
Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。
安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
論文 参考訳（メタデータ） (2026-09-14T20:12:27Z) - Reassembling Distributed Risk: Trajectory-Conditioned Action Generation for Multi-Turn Agent Safety [12.022506016268112]
マルチターン分解攻撃では、有害な目的を個別にもっともらしい要求とツールコールに分散することができる。
本稿では,軌跡レベルのセキュリティ証拠に対して行動生成を条件とした世代防衛である分散リスク(ReDiR)を提案する。
我々はReDiRを3つのモデルファミリーと8つのホールドアウトツールドメインにまたがる2つのエージェントセーフティベンチマークで評価した。
論文 参考訳（メタデータ） (2026-08-26T12:28:35Z) - HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety [45.163264704448125]
エージェントの安全性を6つの運用フェーズにまとめるライフサイクル指向ベンチマークを提案する。
実用性, 攻撃成功率, 永続性, 検出性を用いて各軌道の評価を行った。
明示的なリスク認識は、90%以上の実行中のリスクを検出する構成であるため、安全行動に確実に結びつくものではないことが分かっています。
論文 参考訳（メタデータ） (2026-08-18T10:03:58Z) - Self-Evolving Just-In-Time Memory for Proactive Embodied Safety [13.342067741014455]
既存の安全アプローチは、安全でないアクションをブロックしたり、過度に注意を喚起するために、ランタイムガードレールに依存しています。
我々は,プログレッシブ・スタンリング・ガードレールからアクティブ・ハザード対策まで,安全を具体化した自己進化型Just-In-Time Memoryフレームワークを紹介した。
論文 参考訳（メタデータ） (2026-06-26T14:26:24Z) - Auditing Agent Harness Safety [81.22315979618612]
LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。
ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。
HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T02:14:28Z) - SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。
ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
論文 参考訳（メタデータ） (2026-04-15T08:59:00Z) - TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories [20.868825285848196]
安全ガードレールは、自然言語の応答には適しているが、その有効性は、多段階のツール使用軌跡の中では明らかにされていない。
このギャップに対処するために、中間軌道安全性を評価するために特別に設計された最初の包括的なベンチマークであるStructureSafe-Benchを紹介します。
論文 参考訳（メタデータ） (2026-04-08T15:46:14Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z) - Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。
近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。
攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。
BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
論文 参考訳（メタデータ） (2022-11-21T09:51:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。