論文の概要: EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence

• arxiv url: http://arxiv.org/abs/2610.31650v1
• Date: Thu, 22 Oct 2026 17:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.511907
• Title: EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
• Title（参考訳）: EpiSEM-Bench:LLM剤の安全性とエビデンス回復の評価
• Abstract要約: ツール応答が安全関連事実を省略した場合、エージェントは、ユーザ要求が良心的であり、返却されたステートメントがすべて真実である場合でも、禁止されたアクションを実行することができる。 我々は,LLMエージェントにおける安全でない実行,安全性境界,エビデンス回復を評価するためのベンチマークであるベンチを導入する。
• 参考スコア（独自算出の注目度）: 20.81470511115543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-using language model agents rely on environmental facts to decide whether an action is permitted. When a tool response omits a safety-relevant fact, an agent may carry out a prohibited action even though the user request is benign and every returned statement is true. We introduce \bench{}, an executable benchmark for evaluating unsafe execution, safety boundaries, and evidence recovery in LLM agents under missing evidence. It contains 300 matched unsafe/safe task pairs across six domains. By systematically suppressing critical facts, the benchmark measures unsafe execution under critical evidence omission and determines the minimum observed failure cardinality, including failures with full evidence and cases with no observed failure after exhaustive testing. An independent audit tool tests whether agents seek missing facts and then withhold prohibited actions while completing permissible tasks. The benchmark reveals substantial variation across the ten models in omission robustness, evidence acquisition, and appropriate action. Resistance to missing evidence does not necessarily translate into useful recovery. Recovery access reduces unsafe execution for all ten models, but agents differ in whether they actively obtain the missing facts and use them to act appropriately in both worlds.
• Abstract（参考訳）: ツールを用いた言語モデルエージェントは、アクションが許可されているかどうかを決定するために環境事実に依存する。 ツール応答が安全関連事実を省略した場合、エージェントは、ユーザ要求が良心的であり、返却されたステートメントがすべて真実である場合でも、禁止されたアクションを実行することができる。 我々は,LLMエージェントにおける安全でない実行,安全性境界,エビデンス回復を評価するためのベンチマークである \bench{} を紹介する。 6つのドメインにまたがる300のマッチしたアンセーフ/セーフタスクペアを含んでいる。 致命的な事実を体系的に抑制することにより、このベンチマークは、致命的な証拠が欠落した状態での安全でない実行を計測し、完全な証拠のある失敗や、徹底的なテストの後に観察された失敗のないケースを含む最小の失敗基数を決定する。 独立した監査ツールは、エージェントが行方不明の事実を探し、許可されたタスクを完了しながら禁止されたアクションを控えるかどうかをテストする。 このベンチマークでは、欠落した堅牢性、証拠取得、適切なアクションの10モデルに対して、かなりのバリエーションが示される。 証拠の欠如に対する抵抗は、必ずしも有用な回復に繋がるとは限らない。 回復アクセスは10モデルすべてに対して安全でない実行を減少させるが、エージェントは行方不明の事実を積極的に入手し、両方の世界で適切に動作させるかどうかが異なる。

関連論文リスト

• CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
  言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。 この機能は、フィッシングに機密情報を公開する。 CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2026-10-06T05:07:33Z)
• From Evidence to Action: How Tool-Using Agents Fail [44.361207294180424]
  このエビデンス・ツー・アクション・チェーンは、エージェントが単一アクションの実行に行動するかどうかを決定するため、どこで壊れるかを調査する。 10のモデルハーネスで、強力な静的アクションアセスメントは、より弱いインタラクティブ実行と共存することができる。
  論文  参考訳（メタデータ） (2026-10-06T04:50:29Z)
• Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection [0.0]
  特権ツールを起動するLLMエージェントは間接的プロンプトインジェクション(IPI)に脆弱である 4つの欠陥クラス - サイレントペイロードの非配信、引数ではなくツールアイデンティティによるアタック成功、モデル非能力と混同された偽リジェクション率、監査証跡の欠如 - を識別する。 我々は、欠陥と修正された定義の下で同じ実行トレースを再描画することで、歪みを定量化する。
  論文  参考訳（メタデータ） (2026-09-26T14:53:42Z)
• Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
  エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。 CAC(Cognitive Admission Control)は、この証拠を明示する。 ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。 承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
  論文  参考訳（メタデータ） (2026-09-14T20:20:54Z)
• Safety in Self-Evolving Agents: A Survey [65.20955577335691]
  大きな言語モデル(LLM)は強力な汎用能力を示すが、そのパラメータは通常、デプロイ後に固定され、新しいインタラクションからの学習が制限される。 経験が再利用可能な状態になり、過去の出来事が将来の原因になり、ある文脈で無害な情報が後により大きな永続性、権威、あるいは範囲で決定に影響を与える可能性がある。 私たちは、再利用可能な影響を特定する移行中心のフレームワークであるSAVERを導入し、Adaptationは変更の仕方を捉え、Violationは破損した安全属性を特定し、障害が観測可能な露出マークを識別し、Responseは封じ込め、修復、取り消しを評価します。
  論文  参考訳（メタデータ） (2026-09-08T05:04:40Z)
• REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems [21.484325207774166]
  逆入力はエージェントと環境の間の相互作用を利用することができ、実行中にエージェントが安全ポリシーに違反する。 自律的なリピートと忠実な測定を行うためのフレームワークであるREDAgentBenchを紹介する。 明示的な安全制約と関連するエージェントシステム脆弱性から攻撃を導き、独立したサービスサンドボックスでそれらを実行し、サービスレシートと最終状態の変更による有害な影響を検証する。
  論文  参考訳（メタデータ） (2026-08-11T08:48:54Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Partial Evidence Bench: Benchmarking Authorization-Limited Evidence in Agentic Systems [0.0]
  本稿では、その故障モードを測定するための決定論的ベンチマークであるPartial Evidence Benchを紹介する。 このベンチマークでは、デューディリジェンス、コンプライアンス監査、セキュリティインシデント対応の3つのシナリオファミリが提供されている。 答えの正しさ、完全性意識、ギャップレポートの品質、安全でない完全性行動の4つの面に沿ってシステムを評価する。
  論文  参考訳（メタデータ） (2026-05-06T19:01:29Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。