論文の概要: ChemMat-AgentSafetyBench: Evaluating Long-Horizon Attacks and Defenses in Chemistry and Materials Agents
- arxiv url: http://arxiv.org/abs/2609.11952v1
- Date: Thu, 30 Jul 2026 02:41:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.501346
- Title: ChemMat-AgentSafetyBench: Evaluating Long-Horizon Attacks and Defenses in Chemistry and Materials Agents
- Title（参考訳）: ChemMat-AgentSafetyBench:化学・材料エージェントにおける長期攻撃と防御の評価
- Abstract要約: 化学および材料エージェントは、文学検索、候補生成、プロパティ予測、プロトコル計画を連続的な発見に統合する。
化学物質や材料がユーザ入力、ツール観察、永続メモリを通じて有害なエンドポイントに向けて操れるかどうかを評価するベンチマークであるベンチを導入する。
ベンチマークには8つのハザードクラス、3つのシナリオシェル、4つのツール・アンド・メモリ環境、1ターンのダイレクトアタックベースライン、5つのオンラインロングホライゾンアタックを含む432の固定された有害ケース仕様が含まれている。
- 参考スコア（独自算出の注目度）: 22.607520089601124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chemistry and materials agents integrate literature retrieval, candidate generation, property prediction, and protocol planning into continuous discovery workflows. Consequently, the relevant safety question is shifting from whether a model answers a hazardous question to whether an agent releases a hazardous protocol through a tool-mediated workflow. We introduce \bench, a benchmark that evaluates whether chemistry and materials agents can be steered toward hazardous endpoints through user input, tool observations, or persistent memory. The benchmark contains 432 fixed harmful case specifications spanning eight hazard classes, three scenario shells, four tool-and-memory environments, a single-turn direct-attack baseline, and five online long-horizon attacks: intent hijacking, tool chaining, objective drifting, task injection, and memory poisoning. The concrete language of each online attack is generated from the evolving trajectory at runtime and is therefore not counted in the static benchmark size. In the four-model main experiment with a fixed attacker, agents release complete hazardous synthesis or preparation procedures in 25.6\% of runs. Replacing the attacker model yields mean success rates from 18.4\% to 26.5\%, indicating that the risk is not an artifact of a single attacker. Input- and state-level defenses adapted from general-purpose agent safety, as well as candidate checks designed for chemistry and materials, reduce some failures but still leave complete-path release rates between 9.2\% and 22.5\%. Existing defenses therefore do not simultaneously cover multi-entry contamination, tool state, and the final artifact boundary. These results highlight a widening gap between the rapid development of scientific agents and the safety evaluation and defenses available to the chemistry and materials community.
- Abstract（参考訳）: 化学および材料エージェントは、文学検索、候補生成、プロパティ予測、プロトコル計画を継続的発見ワークフローに統合する。
その結果、関連する安全性の問題が、モデルが有害な問題に答えるかどうかから、エージェントがツールを介するワークフローを通じて有害なプロトコルをリリースするかどうかへとシフトしている。
化学物質や材料がユーザ入力、ツール観察、永続メモリを通じて有害なエンドポイントに向けて操れるかどうかを評価するベンチマークである‘bench’を導入する。
ベンチマークには8つのハザードクラス、3つのシナリオシェル、4つのツール・アンド・メモリ環境、1ターンのダイレクトアタックベースライン、5つのオンラインロングホライゾンアタックが含まれている。
各オンライン攻撃の具体的な言語は、実行時の進行軌跡から生成されるため、静的なベンチマークサイズにはカウントされない。
固定攻撃器を用いた4モデルメイン実験では、エージェントは25.6\%のランで完全な有害な合成または準備手順を放出する。
攻撃者のモデルを置き換えると、平均成功率は18.4\%から26.5\%となり、リスクは単一の攻撃者の人工物ではないことを示す。
汎用エージェントの安全性から適合した入力レベルおよび状態レベルの防衛と、化学や材料用に設計された候補チェックは、いくつかの失敗を減らすが、完全なパス解放率は9.2\%から22.5\%に留まる。
したがって、既存の防御は、マルチエンターテイメント汚染、ツール状態、最終アーティファクト境界を同時にカバーしない。
これらの結果は、科学エージェントの急速な開発と、化学・材料コミュニティで利用可能な安全性評価と防衛とのギャップを拡大するものである。
関連論文リスト
- BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。
Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。
安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
論文 参考訳（メタデータ） (2026-09-14T20:12:27Z) - Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents [21.622196229181103]
我々は、スキーマフォーマットのツール仕様を、エージェントの安全性劣化の主な原因として特定する。
ツール実行から安全判断を分離する推論時セーフガードであるSafeKeepを提案する。
有害な要求に対する平均拒絶率を23.8%から70.6%に引き上げ、観察レベルのプロンプト注入による平均攻撃成功率を25.6%から2.5%に下げる。
論文 参考訳（メタデータ） (2026-07-31T10:25:04Z) - AgentS4D: Benchmarking Runtime Risks across the Execution Lifecycle of LLM-Based Workspace Agents [10.99961131065026]
大規模言語モデル(LLM)ベースのワークスペースエージェントは、異種リソースをまたいだステートフルなマルチステップを実行する。
最近のベンチマークでは、先進的な安全テストと軌道認識検証が実施されている。
我々は、ライフサイクル全体のランタイム安全性評価のためのサンドボックスベンチマークであるAgentS4Dを紹介する。
論文 参考訳（メタデータ） (2026-07-29T15:55:45Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳（メタデータ） (2026-06-01T17:45:39Z) - AgentHazard: A Benchmark for Evaluating Harmful Behavior in Computer-Use Agents [31.649268608215817]
コンピュータ利用エージェントの有害行動を評価するベンチマークである textbfAgentHazard を提案する。
我々は、Qwen3、Kim、GLM、DeepSeekファミリーのほとんどをオープンまたはオープンにデプロイ可能なモデルを使用して、Claude Code、OpenClaw、IFlowを評価した。
論文 参考訳（メタデータ） (2026-04-03T10:29:31Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。
既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。
我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文 参考訳（メタデータ） (2025-10-10T18:42:32Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。