論文の概要: Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models III: Implementing the Bacterial Biothreat Benchmark (B3) Dataset
- arxiv url: http://arxiv.org/abs/2512.08459v1
- Date: Tue, 09 Dec 2025 10:31:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.919337
- Title: Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models III: Implementing the Bacterial Biothreat Benchmark (B3) Dataset
- Title（参考訳）: フロンティアAIモデル評価のためのバイオスリートベンチマーク生成フレームワークIII:細菌バイオスリートベンチマーク(B3)データセットの実装
- Authors: Gary Ackerman, Theodore Wilson, Zachary Kallenborn, Olivia Shoemaker, Anna Wetzel, Hayley Peterson, Abigail Danfora, Jenna LaTourette, Brandon Behlendorf, Douglas Clifford,
- Abstract要約: 本稿では,細菌バイオスリートベンチマーク(B3)データセットの試験的実装について論じる。
これは、Biothreat Benchmark Generation (BBG)フレームワーク全体を記述する3つの論文の3つ目である。
全体として、パイロットは、LLMによって引き起こされるバイオセキュリティリスクを迅速に評価するために、B3データセットが実行可能でニュアンスな方法を提供することを示した。
- 参考スコア（独自算出の注目度）: 0.38186458149494623
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The potential for rapidly-evolving frontier artificial intelligence (AI) models, especially large language models (LLMs), to facilitate bioterrorism or access to biological weapons has generated significant policy, academic, and public concern. Both model developers and policymakers seek to quantify and mitigate any risk, with an important element of such efforts being the development of model benchmarks that can assess the biosecurity risk posed by a particular model. This paper discusses the pilot implementation of the Bacterial Biothreat Benchmark (B3) dataset. It is the third in a series of three papers describing an overall Biothreat Benchmark Generation (BBG) framework, with previous papers detailing the development of the B3 dataset. The pilot involved running the benchmarks through a sample frontier AI model, followed by human evaluation of model responses, and an applied risk analysis of the results along several dimensions. Overall, the pilot demonstrated that the B3 dataset offers a viable, nuanced method for rapidly assessing the biosecurity risk posed by a LLM, identifying the key sources of that risk and providing guidance for priority areas of mitigation priority.
- Abstract（参考訳）: 生物テロや生物兵器へのアクセスを促進するために急速に発展するフロンティア人工知能(AI)モデル、特に大きな言語モデル(LLM)の可能性は、重要な政策、学術的、公共の関心を生んだ。
モデル開発者と政策立案者の両方がリスクの定量化と緩和を試みており、そのような取り組みの重要な要素は、特定のモデルによって引き起こされるバイオセキュリティリスクを評価するためのモデルベンチマークの開発である。
本稿では,細菌バイオスリートベンチマーク(B3)データセットの試験的実装について論じる。
BBG(Biothreat Benchmark Generation)フレームワークに関する3つの論文の3つ目であり、以前の論文ではB3データセットの開発について詳述していた。
パイロットは、サンプルフロンティアAIモデルを通じてベンチマークを実行し、続いてモデル応答の人間による評価を行い、いくつかの次元に沿って結果を適用したリスク分析を行った。
全体として、パイロットは、B3データセットがLSMによって引き起こされるバイオセキュリティリスクを迅速に評価し、そのリスクの主な原因を特定し、優先順位を緩和する優先領域のガイダンスを提供する、実行可能なニュアンスドな方法を提供することを示した。
関連論文リスト
- Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models II: Benchmark Generation Process [0.38186458149494623]
本稿では,新しいバイオスリートベンチマーク生成フレームワークの第二の構成要素として,細菌バイオスリートベンチマークデータセットの生成について述べる。
1) Webベースのプロンプト生成,2) レッドチーム化,3) 既存のベンチマークコーパスをマイニングする。
重複解消のプロセスとそれに続くアップリフト診断の評価、一般的な品質管理対策により、候補を1010の最終的なベンチマークに減らした。
論文 参考訳（メタデータ） (2025-12-09T10:24:25Z) - Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models I: The Task-Query Architecture [0.38186458149494623]
本稿では,Biothreat Benchmark Generation (BBG)フレームワークの最初のコンポーネントについて述べる。
BBGアプローチは、既存のAIモデルと将来のAIモデルのバイオセキュリティリスク上昇と一般的な害ポテンシャルを、モデル開発者と評価者が確実に測定し評価するのに役立つように設計されている。
パイロットとして、BBGは細菌の生物学的脅威にのみ対処するために開発された。
論文 参考訳（メタデータ） (2025-12-09T00:16:44Z) - Best Practices for Biorisk Evaluations on Open-Weight Bio-Foundation Models [24.414900360499548]
オープンウェイトなバイオファウンデーションモデルは、悪いアクターがより致命的なバイオ兵器を開発することを可能にする。
現在のアプローチでは、事前トレーニング中にバイオハザードデータをフィルタリングすることに重点を置いている。
BioRiskEvalは、バイオ境界モデルの二重利用能力を減らすことを目的としたプロシージャの堅牢性を評価するためのフレームワークである。
論文 参考訳（メタデータ） (2025-10-31T17:00:20Z) - Adapting Probabilistic Risk Assessment for AI [0.0]
汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。
現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。
本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
論文 参考訳（メタデータ） (2025-04-25T17:59:14Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving [55.93813178692077]
本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。
検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。
また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
論文 参考訳（メタデータ） (2024-05-27T17:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。