論文の概要: Biosecurity-Aware AI: Agentic Risk Auditing of Soft Prompt Attacks on ESM-Based Variant Predictors
- arxiv url: http://arxiv.org/abs/2512.17146v1
- Date: Fri, 19 Dec 2025 00:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-22 19:25:54.210552
- Title: Biosecurity-Aware AI: Agentic Risk Auditing of Soft Prompt Attacks on ESM-Based Variant Predictors
- Title(参考訳): バイオセキュリティを意識したAI:ESMベースの変数予測者に対するソフトプロンプト攻撃のエージェント的リスク監査
- Authors: Huixin Zhan,
- Abstract要約: 本稿では,GFMの敵対的脆弱性を監査するためのエージェントフレームワークであるSecure Agentic Genomic Evaluator (SAGE)を紹介する。
SAGEを用いて、ESM2のような最先端のGFMでさえ、標的となるソフトプロンプト攻撃に敏感であることがわかった。
- 参考スコア(独自算出の注目度): 4.781986758380065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Genomic Foundation Models (GFMs), such as Evolutionary Scale Modeling (ESM), have demonstrated remarkable success in variant effect prediction. However, their security and robustness under adversarial manipulation remain largely unexplored. To address this gap, we introduce the Secure Agentic Genomic Evaluator (SAGE), an agentic framework for auditing the adversarial vulnerabilities of GFMs. SAGE functions through an interpretable and automated risk auditing loop. It injects soft prompt perturbations, monitors model behavior across training checkpoints, computes risk metrics such as AUROC and AUPR, and generates structured reports with large language model-based narrative explanations. This agentic process enables continuous evaluation of embedding-space robustness without modifying the underlying model. Using SAGE, we find that even state-of-the-art GFMs like ESM2 are sensitive to targeted soft prompt attacks, resulting in measurable performance degradation. These findings reveal critical and previously hidden vulnerabilities in genomic foundation models, showing the importance of agentic risk auditing in securing biomedical applications such as clinical variant interpretation.
- Abstract(参考訳): 進化的スケールモデリング(ESM)のようなGFM(Genomic Foundation Models)は、変分効果予測において顕著な成功を収めている。
しかし、敵対的な操作の下での彼らの安全と堅牢性はほとんど未解明のままである。
このギャップに対処するために、GFMの敵対的脆弱性を監査するためのエージェントフレームワークであるSecure Agentic Genomic Evaluator (SAGE)を導入する。
SAGEは解釈可能かつ自動化されたリスク監査ループを介して機能する。
ソフトプロンプトの摂動を注入し、トレーニングチェックポイントをまたいだモデル動作を監視し、AUROCやAUPRといったリスクメトリクスを計算し、大きな言語モデルに基づく物語説明による構造化レポートを生成する。
このエージェントプロセスは、基礎となるモデルを変更することなく、埋め込み空間の堅牢性を連続的に評価することができる。
SAGEを用いて、ESM2のような最先端のGFMでさえ、ターゲットのソフトプロンプト攻撃に敏感であり、測定可能な性能劣化をもたらすことがわかった。
これらの結果から,ゲノム基盤モデルにおける重要かつ以前に隠された脆弱性が明らかとなり,臨床変異解釈などのバイオメディカル応用の確保における薬剤的リスク監査の重要性が示唆された。
関連論文リスト
- Mind the Gap: Evaluating Model- and Agentic-Level Vulnerabilities in LLMs with Action Graphs [1.036334370262262]
本稿では,エージェント実行を粒度のアクションとコンポーネントグラフに分解する可観測性に基づく評価フレームワークであるAgenSeerを紹介する。
モデルレベルとエージェントレベルの脆弱性プロファイルの根本的な違いを示す。
エージェントレベルの評価は、従来の評価には見えないエージェント固有のリスクを明らかにする。
論文 参考訳(メタデータ) (2025-09-05T04:36:17Z) - SafeGenes: Evaluating the Adversarial Robustness of Genomic Foundation Models [8.019763193322298]
本稿では,ゲノム基盤モデルのセキュア解析のためのフレームワークであるSafeGenesを提案する。
我々は、高速勾配符号法とソフトプロンプト攻撃という2つのアプローチを用いて、GFMの敵の脆弱性を評価する。
ターゲットとしたソフトプロンプト攻撃は、ESM1bやESM1vのような大型モデルでも大幅に性能が低下した。
論文 参考訳(メタデータ) (2025-06-01T03:54:03Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳(メタデータ) (2024-09-24T14:52:14Z) - Assessing biomedical knowledge robustness in large language models by query-efficient sampling attacks [0.6282171844772422]
大規模言語モデル(LLM)におけるパラメトリックドメイン知識の深化は、現実世界のアプリケーションへの迅速な展開を加速させている。
近年、自然言語処理タスクの逆例として命名されたエンティティが発見され、事前訓練されたLLMの知識の堅牢性に対するそれらの潜在的な影響に関する疑問が提起されている。
バイオメディカル知識のロバスト性を評価するために,パワースケール距離重み付きサンプリングに基づく埋め込み空間攻撃を開発した。
論文 参考訳(メタデータ) (2024-02-16T09:29:38Z) - Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳(メタデータ) (2023-12-18T05:42:31Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳(メタデータ) (2021-05-23T01:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。