論文の概要: Do AI-for-Science Agents Preserve Model Safety?

• arxiv url: http://arxiv.org/abs/2610.32045v1
• Date: Fri, 23 Oct 2026 01:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.318917
• Title: Do AI-for-Science Agents Preserve Model Safety?
• Title（参考訳）: AI-for-Science Agentsはモデルの安全性を保っているか?
• Abstract要約: LLMがAI-for-Scienceエージェントハーネスに統合された場合、モデル安全性が維持されるかどうかを問う。 有害化学要求50件について5つの薬剤ハーネスを評価した。 以上の結果から, ベースLLMの安全性はハーネス導入後の耐久性に乏しいことが示唆された。
• 参考スコア（独自算出の注目度）: 6.894787079804483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI-for-Science agents are increasingly being used for formulating scientific hypotheses, running autonomous experiments, and interpreting evidence. These agents are constructed by integrating a large language model (LLM) into a domain-specific agent harness, which in turn can improve the LLM's scientific capability and enable the model to orchestrate scientific tools. In this work, we ask whether model safety is preserved when an LLM is integrated in an AI-for-Science agent harness. We evaluate five agent harnesses on 50 harmful chemistry requests. Specifically, we study how the safety behavior changes under direct prompting, two simple adversarial prompting strategies, and an adaptive attack. Across four recent GPT variants, our results show that the agent harness can increase harmful compliance even under direct prompting. More critically, we find that adaptive attacks that are largely unsuccessful against the base LLM suddenly become highly successful after the agent harness is introduced. Our results show that the safety behavior of the base LLM is not durable once a harness is introduced. Thus, as AI-for-Science agents become more capable and autonomous, the community needs to evaluate and align the agent using domain-specific safety benchmarks.
• Abstract（参考訳）: AI-for-Scienceエージェントは、科学仮説の定式化、自律的な実験の実行、証拠の解釈にますます利用されている。 これらのエージェントは、大きな言語モデル(LLM)をドメイン固有のエージェントハーネスに統合することで構築される。 本研究では,LLMをAI-for-Scienceエージェントに組み込んだ場合,モデル安全性が維持されるかどうかを問う。 有害な化学反応50件について5つの薬剤ハーネスを評価した。 具体的には,直接的刺激下での安全行動の変化,2つの単純な逆転促進戦略,適応攻撃について検討する。 近年, GPT は4種類あるが, エージェントハーネスは直接的プロンプト下でも有害なコンプライアンスを増大させることができる。 より重要なことは、エージェントハーネス導入後、LLMベースに対してほとんど失敗に終わった適応攻撃が突然成功し始めることである。 以上の結果から, ベースLLMの安全性はハーネス導入後の耐久性に乏しいことが示唆された。 したがって、AI-for-Scienceエージェントがより有能で自律的になるにつれて、コミュニティは、ドメイン固有の安全ベンチマークを使用してエージェントを評価し、調整する必要がある。

関連論文リスト

• Toward Reliable, Safe, and Secure LLMs for Scientific Applications [3.114973891723128]
  大規模言語モデル(LLM)は自律的な「AI科学者」へと進化する 科学的に信頼できるデプロイメントを保証するには、信頼性、安全性、セキュリティを中心とした新しいパラダイムが必要です。 本稿では,科学におけるLLMエージェントのユニークなセキュリティと安全性の展望について検討する。
  論文  参考訳（メタデータ） (2026-03-18T19:43:38Z)
• Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
  エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。 我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。 我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
  論文  参考訳（メタデータ） (2025-09-30T14:55:55Z)
• Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
  本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。 我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
  論文  参考訳（メタデータ） (2025-04-11T15:41:21Z)
• Autonomous Microscopy Experiments through Large Language Model Agents [4.241267255764773]
  大規模言語モデル(LLM)は、材料研究のための自己運転実験室(SDL)に革命をもたらしている。 LLM駆動エージェントによる原子間力顕微鏡の自動化フレームワークであるArtificially Intelligent Lab Assistant (AILA)を紹介する。 アートモデルの現状が,基本的なタスクや調整シナリオに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2024-12-18T09:35:28Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
  大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。 エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。 実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
  論文  参考訳（メタデータ） (2024-07-30T14:35:31Z)
• Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy [65.77763092833348]
  この視点は、AI科学者の脆弱性を調べ、その誤用に関連する潜在的なリスクに光を当てる。 我々は、ユーザ意図、特定の科学的領域、およびそれらが外部環境に与える影響を考慮に入れている。 本稿では,人間規制,エージェントアライメント,環境フィードバックの理解を含む三段階的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Evil Geniuses: Delving into the Safety of LLM-based Agents [35.49857256840015]
  大言語モデル(LLM)は、大言語モデル(LLM)で再活性化されている。 本稿では, LLMをベースとしたエージェントの安全性について, エージェント量, 役割定義, 攻撃レベルという3つの観点から検討する。
  論文  参考訳（メタデータ） (2023-11-20T15:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。