論文の概要: Evaluating calibrated refusal and safe usefulness in dual-use biology settings
- arxiv url: http://arxiv.org/abs/2607.05462v1
- Date: Mon, 06 Jul 2026 01:46:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.269446
- Title: Evaluating calibrated refusal and safe usefulness in dual-use biology settings
- Title（参考訳）: 二重利用環境における校正拒絶と安全性の評価
- Abstract要約: BioSecBench-Refusalは、生物学的研究タスクのリスク識別と拒絶行動のベンチマークである。
我々は、モデル開発者が能力の校正とエージェントバイオテクノロジーR&Dへの警告を行うためのツールとして、BioSecBench-Refusalをリリースした。
- 参考スコア（独自算出の注目度）: 1.7387377577986076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI agents are incorporated into life science workflows, the capabilities that speed discovery might also enable misuse. We present BioSecBench-Refusal, a benchmark for risk identification and refusal behavior for biological research tasks. The benchmark pairs 61 Routine tasks, legitimate analyses adapted from the published literature, with 46 Red-Team tasks, fictional scenarios that resemble real research but conceal a biosecurity hazard. Across 16 model-harness configurations, refusal rates ranged from 7\% to 74\% on Routine tasks and 1\% to 62\% on Red-Team tasks, with many configurations refusing legitimate Routine work at comparable or higher rates than concealed hazards. Refusals were most often triggered by provider API filters applied prior to agentic reasoning. However, models given room to reason showed the potential to identify more real threats. We release BioSecBench-Refusal as a tool for model developers to calibrate capability and caution for agentic biotech R\&D.
- Abstract（参考訳）: AIエージェントがライフサイエンスのワークフローに組み込まれているため、スピード発見が誤用を可能にする可能性がある。
本稿では,生物研究課題におけるリスク識別と拒絶行動のベンチマークであるBioSecBench-Refusalを提案する。
このベンチマークは61のルーチンタスクと、公表された文献に適合した正当な分析、46のRed-Teamタスク、実際の研究に似ているがバイオセキュリティの危険を隠蔽する架空のシナリオを組み合わせている。
16のモデルハーネス構成で、拒絶率は7\%から74\%まで、レッドチームタスクは1\%から62\%まで変化し、多くの構成では正規のルーチン作業は隠蔽されたハザードよりも同等かそれ以上の割合で拒否された。
拒否は多くの場合、エージェント推論に先立って適用されるプロバイダAPIフィルタによって引き起こされた。
しかし、推論する余地が与えられたモデルは、より現実的な脅威を特定する可能性を示していた。
我々は、モデル開発者が能力の校正とエージェントバイオテクノロジーR\&Dへの警告を行うためのツールとして、BioSecBench-Refusalをリリースした。
関連論文リスト
- Regret Dominates Surprise: Design-Time Requirements Engineering for Agentic-AI Safety [4.5810763763063225]
安全自律運転のための新しいレグレト・ドミナンス機構(MS-RGR)
MS-RGRは、ほぼゼロのサイレント障害を検出し、センサーのみのベースラインよりも17.5倍早くリスクを検出する。
MS-RGRはモデルレベルの安全訓練の代用ではなく、増幅する。
論文 参考訳（メタデータ） (2026-09-04T20:01:33Z) - Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks [0.0]
オープンなPlato/Denarioアーキテクチャの拡張であるPlato-Bioを開発した。
Plato-Bioは明示的なワークフローステートを、プロファイランスレコード、引用チェック、クレーム・ツー・エビデンスリンク、スコープドファイル書き込み、パブリッシュゲートと結合する。
現在のクリーンリビジョンでは、完全なPythonスイートが931パス、6スキップ、エラーやエラーは発生しない。
論文 参考訳（メタデータ） (2026-07-27T03:55:39Z) - An Early Warning of Emerging Biosecurity Risks in Frontier LLMs [62.01705276160883]
Intern-BioBreakerは、特殊な生体赤チームモデルであり、計算と物理を統合したフレームワークである。
このフレームワーク内では、Intern-BioBreakerがターゲットのjailbreakプロンプトを生成して、アライメントされたモデルを誘導して運用ガイダンスを提供することができるかどうかをテストする。
本評価では,テキストレベルの保護と,有能な科学モデルによるリスクとのギャップを明らかにする。
論文 参考訳（メタデータ） (2026-07-20T15:26:23Z) - Model Capability Assessment and Safeguards for Biological Weaponization [0.0]
AIのリーダーや安全レポートは、モデル推論の進歩が生物学的な誤用を引き起こす可能性があるとますます警告している。
今回はChatGPT 5.2 Auto, Gemini 3 Pro Thinking, Claude Opus 4.5, Meta's Muse Spark Thinking on 73 novice-framed, open-ended Benign STEM promptsをベンチマークした。
論文 参考訳（メタデータ） (2026-04-15T11:05:09Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - ProvAgent: Threat Detection Based on Identity-Behavior Binding and Multi-Agent Collaborative Attack Investigation [9.809848789937233]
ProvAgentは、ヒューマンモデルコラボレーションから、マルチエージェントシステムと従来のモデルの間の新しいコラボレーションへと、脅威の前兆パラダイムを進化させるフレームワークである。
グラフの対照的な学習を通じて、きめ細かいアイデンティティと振る舞いの一貫性を強制することにより、特定の属性に基づいてエンティティをプロファイリングし、高忠実度アラートを生成する。
ProvAgentは仮説検証マルチエージェントフレームワークを通じて、詳細な自律的な調査を実現する。
論文 参考訳（メタデータ） (2026-03-10T08:38:53Z) - BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics [0.0]
BioAgent Benchは、AIエージェントのパフォーマンスと堅牢性を測定するために設計された、ベンチマークデータセットと評価スイートである。
ベンチマークには、自動アセスメントをサポートするための具体的な出力アーティファクトを指定するプロンプトを備えた、エンドツーエンドタスクのキュレートが含まれている。
複数のエージェントハーネスをまたいだフロンティアクローズドソースおよびオープンウェイトモデルの評価を行った。
論文 参考訳（メタデータ） (2026-01-29T14:44:03Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - CyberRAG: An Agentic RAG cyber attack classification and reporting tool [0.3914676152740142]
CyberRAGはモジュール型のエージェントベースのRAGフレームワークで、サイバー攻撃のリアルタイム分類、説明、構造化レポートを提供する。
従来のRAGとは異なり、CyberRAGは動的制御フローと適応推論を可能にするエージェント設計を採用している。
論文 参考訳（メタデータ） (2025-07-03T08:32:19Z) - LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。
このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。
実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
論文 参考訳（メタデータ） (2024-10-18T05:21:05Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
論文 参考訳（メタデータ） (2023-09-25T17:08:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。