論文の概要: BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance

• arxiv url: http://arxiv.org/abs/2607.19262v1
• Date: Tue, 21 Jul 2026 16:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.490009
• Title: BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance
• Title（参考訳）: BioSecBench-Surveillance: 病原性ゲノムサーベイランスにおけるAIエージェントの検証可能なベンチマーク
• Abstract要約: BioSecBench-Surveillanceは100評価の検証可能なベンチマークである。 各評価は、エージェントに人間のアナリストが持つデータとコンテキストのみを与え、その構造化された回答を決定論的に評価する。 PIのオプス4.8は50.2%で、信頼区間の95%が40.1から60.3%と評価された。
• 参考スコア（独自算出の注目度）: 1.1800365763212117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As pathogen genomic surveillance scales, the bottleneck is shifting from data generation to analysis. We present BioSecBench-Surveillance, a verifiable benchmark of 100 evaluations testing whether AI agents can infer the right analysis pipeline from raw sequencing data and surveillance context. Each evaluation gives an agent only the data and context a human analyst would have, then grades its structured answer deterministically. The tasks span seven categories, from taxonomic classification to genetic-engineering detection, across diverse sample types and sequencing technologies. Across 3,962 gradable attempts from sixteen model-harness pairs, the strongest configuration cleared only about half. Opus 4.8 with PI led at 50.2 percent, with a 95 percent confidence interval of 40.1 to 60.3 percent across 83 evaluations, tied with GPT-5.5 with Codex at 50.2 percent, with a 95 percent confidence interval of 40.8 to 59.6 percent, followed by Opus 4.7 with PI at 49.6 percent, with a 95 percent confidence interval of 40.0 to 59.2 percent, and Sonnet 4.6 with PI at 48.6 percent, with a 95 percent confidence interval of 38.9 to 58.3 percent. Even when agents invoked the correct workflows, their mistakes came from the choices around them, such as which references, thresholds, filters, and normalization to apply. BioSecBench-Surveillance provides a standard for measuring whether agents can be trusted to perform genomic surveillance when the next outbreak arrives.
• Abstract（参考訳）: 病原体のゲノム監視がスケールするにつれて、ボトルネックはデータ生成から分析へとシフトしている。 提案するBioSecBench-Surveillanceは、AIエージェントが生のシーケンシングデータと監視コンテキストから適切な分析パイプラインを推測できるかどうかを検証した100の評価ベンチマークである。 各評価は、エージェントに人間のアナリストが持つデータとコンテキストのみを与え、その構造化された回答を決定論的に評価する。 タスクは、分類学的分類から遺伝子工学的検出まで、様々なサンプルタイプとシークエンシング技術を含む7つのカテゴリにまたがる。 モデルハーネス対の3,962回のグレータブルな試みでは、最強の構成はわずか半分しかクリアされなかった。 オプス4.8は50.2%、信頼区間は40.1から60.3%、GPT-5.5は50.2%、信頼区間は40.8から59.6%、オプス4.7は49.6%、信頼区間は40.0から59.2%、ソネット4.6は48.6%、信頼区間は38.9から58.3%である。 エージェントが正しいワークフローを呼び出しても、それらのミスは、適用すべき参照、しきい値、フィルタ、正規化など、それらを取り巻く選択から生じる。 BioSecBench-Surveillanceは、次のアウトブレイクが発生した時に、エージェントがゲノム監視を行うことができるかどうかを測定する標準を提供する。

関連論文リスト

• Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
  ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。 NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。 セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
  論文  参考訳（メタデータ） (2026-08-12T21:02:59Z)
• RobustDefect-LLM: Explainable and Robustness-Aware Industrial Surface Defect Classification with Decision Support and AI-Assisted Reporting [0.0]
  RobustDefect-LLMフレームワークは、ディープラーニングの分類、オペレーターによる視覚的エビデンス、信頼を意識した意思決定サポート、AI支援レポートのコントロールを統合している。 MobileNetV3-Large は最高数値テスト精度 (99.26%) とマクロF1スコア (0.9926) を達成し、95%精度は 0.9815-1.0000 である。
  論文  参考訳（メタデータ） (2026-08-09T09:08:13Z)
• GAUGE: Grading Agent-Built Financial Models Without a Golden Answer [38.72982631250115]
  65社をカバーする108組のうち、中央値は0.33、92.6%は0.70以下であり、同じビンテージのペアは10%以内のインプリード価格に合意していない。 同じ企業の独立したアナリストモデルを用いて、65社をカバーする108組のうち、中央値のシングル参照スコアは0.33、92.6%が0.70未満であり、同じビンテージペアが10%以内のインリード価格で一致しないことが判明した。 本稿では,エージェント構築評価モデルを評価するベンチマークであるGAUGEを紹介する。
  論文  参考訳（メタデータ） (2026-07-27T13:03:19Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• Pixel-Precise Explainable Stress Indexing: A Semantic Segmentation Framework for Disease Severity Quantification in Field Crops [3.466303200807006]
  植物病は、生物的ストレスと無生物的ストレスの両方から発生し、毎年世界の農業生産量が20-40%減少する。 本稿では,セマンティックセグメンテーション,回帰に基づく重症度推定,疾患分類を統合した統合型ディープラーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-07-05T06:04:20Z)
• EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis [0.0]
  EpiBenchは、短期水平エピゲノミクス解析のための検証可能なベンチマークである。 エージェントが現実的なワークフロー状態から明確に定義された分析決定を行い、決定論的に段階的な回答を返すことができるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-06-11T17:20:29Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• A Clinically Validated Foundation Model for Comprehensive Lung Pathology Interpretation [36.95302007351382]
  PulmoFoundation(プルモファウンデーション)は、肺病理の総合的評価のための、RCT(RCT)評価基礎モデルである。 本モデルでは, 生検, 凍結部, 外科的切除スライスを対象とし, コア診断タスクにおける臨床成績を評価する。
  論文  参考訳（メタデータ） (2026-05-25T14:04:56Z)
• Distribution-Free Uncertainty Quantification for Continuous AI Agent Evaluation [1.2299000423193074]
  我々は、連続AIエージェント評価に分割共形予測と適応共形推論を適用した。 その結果, 年齢ごとの条件付きカバレッジは, 名目レベルを中心に, 十分に集中していることがわかった。 円形制御されたバリデーションにより、フレームワークはベンチマークを超えて信号をキャプチャする。
  論文  参考訳（メタデータ） (2026-05-19T12:47:21Z)
• KAYRA: A Microservice Architecture for AI-Assisted Karyotyping with Cloud and On-Premise Deployment [0.0]
  KAYRAは、臨床細胞遺伝学研究室の運用上の制約の中で機能するエンドツーエンドの核タイピングシステムである。 KAYRAはコンテナ化されたマイクロサービスパイプラインとして設計されており、MLスタックにはEfficientNet-B5 + U-Netセマンティックセグメント、Mask R-CNN(ResNet-50 + FPN)インスタンス、ResNet-18インスタンスが組み込まれている。 459染色体上の2つの商用基準核型分類システムに対する試験的臨床評価は、強い経験的性能を示す。
  論文  参考訳（メタデータ） (2026-04-29T16:35:31Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。