論文の概要: I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models
- arxiv url: http://arxiv.org/abs/2605.21731v1
- Date: Wed, 20 May 2026 20:44:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:41.993093
- Title: I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models
- Title(参考訳): I-SAFE:科学AIモデルの構造監査のためのWasserstein Coherence Metrics
- Authors: Barbara Tarantino, Gennaro Auricchio, Paolo Giudici,
- Abstract要約: 我々は、科学AIモデルのためのtextscI-SAFE(Interventional Secure, Accurate, Fair and Explainable)フレームワークを紹介する。
textscI-SAFEは、入力の構造的誘導摂動の下で生モデル出力を評価する。
Davis kinase ベンチマークを用いて,薬物-標的相互作用(DTI)予測におけるtextscI-SAFE のインスタンス化を行う。
- 参考スコア(独自算出の注目度): 5.562984399879219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models are increasingly used in scientific prediction tasks where strong benchmark performance is often interpreted as evidence of scientifically meaningful behavior. This interpretation is fragile, as models may exploit shortcut features, dataset-specific regularities, or distributional biases that are predictive on held-out data but not aligned with domain-relevant structure. To address this limitation, we introduce the \textsc{I-SAFE} (Interventional Secure, Accurate, Fair and Explainable) framework, a post-hoc distributional auditing framework for scientific AI models centered on the Wasserstein Coherence Metric (WCM). Given a trained black-box predictor and an external structural prior encoding domain knowledge about task-relevant input structure, \textsc{I-SAFE} evaluates raw model outputs under structurally guided perturbations of the input. The proposed audit measures output-distribution coherence through three complementary metrics: a Quantile-Based Metric (QBM) for location-level coherence, the WCM for ordinal coherence, and a translation-invariant WCM variant for shape coherence. We instantiate \textsc{I-SAFE} on drug--target interaction (DTI) prediction using the Davis kinase benchmark, KLIFS (Kinase--Ligand Interaction Fingerprints and Structures) binding-pocket annotations, and three sequence-based DTI models: DeepConvDTI, DeepDTA, and TAPB. Although the models operate in a comparable predictive regime, \textsc{I-SAFE} reveals substantially different distributional response profiles, a distinction invisible to accuracy-based evaluation. The framework is model-agnostic and applicable to any domain where inputs admit a structured decomposition and an external prior is available.
- Abstract(参考訳): ディープラーニングモデルは、強力なベンチマーク性能が科学的に有意義な行動を示す証拠としてしばしば解釈される科学的な予測タスクで、ますます使われている。
この解釈は、モデルがショートカットの特徴、データセット固有の規則性、あるいは保持データに基づいて予測されるがドメイン関連構造に一致しない分布バイアスを利用するため、脆弱である。
この制限に対処するために、Wasserstein Coherence Metric(WCM)を中心とした科学AIモデルのためのポストホット分散監査フレームワークである‘textsc{I-SAFE}(Interventional Secure, Accurate, Fair and Explainable)フレームワークを導入する。
トレーニングされたブラックボックス予測器とタスク関連入力構造に関するドメイン知識をコードする外部構造事前予測器を与えられた場合、入力の構造的誘導摂動の下で生モデル出力を評価する。
提案手法は, 位置レベルのコヒーレンスのためのQBM(Quantile-Based Metric), 順序のコヒーレンスのためのWCM, 形状のコヒーレンスのための翻訳不変なWCMの3つの相補的指標を用いて, 出力分布のコヒーレンスを測定する。
Davis kinaseベンチマーク、KLIFS(Kinase-Ligand Interaction Fingerprints and Structures)バインディングポケットアノテーション、および3つのシーケンスベースのDTIモデル(DeepConvDTI、DeepDTA、TAPB)を用いて、薬物-標的相互作用(DTI)予測について、textsc{I-SAFE}をインスタンス化する。
モデルは同等の予測型で動作するが、 \textsc{I-SAFE} は分布の応答プロファイルが著しく異なる。
このフレームワークはモデルに依存しず、入力が構造化された分解を認め、外部の事前が利用可能である任意のドメインに適用できる。
関連論文リスト
- ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction [11.805780759216134]
本稿では,凍結モデルを用いて事前相対的構造感度を評価するポストホックフレームワークISAACを紹介する。
ISAACは、AUROCに匹敵するモデル間での推論スコアの約25%の相対的な差異を明らかにしている。
従来の精度測定では検出不可能なこれらの相違は、ポストホック構造監査の使用を動機付けている。
論文 参考訳(メタデータ) (2026-05-03T06:36:40Z) - Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。
本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
論文 参考訳(メタデータ) (2026-02-01T02:35:59Z) - Table-BiEval: A Self-Supervised, Dual-Track Framework for Decoupling Structure and Content in LLM Evaluation [11.450834626205676]
Table-BiEvalは、人間の自由で自己管理的な評価フレームワークに基づく、新しいアプローチである。
コンテンツセマンティック精度と正規化ツリー編集距離を計算し、構造をコンテンツから切り離す。
結果は大きな変動を示し、中規模のモデルが驚くほど大きなモデルよりも構造効率が優れていることを浮き彫りにしている。
論文 参考訳(メタデータ) (2026-01-09T07:38:27Z) - Structural Equation-VAE: Disentangled Latent Representations for Tabular Data [4.101599614979332]
可変オートエンコーダの設計に直接測定構造を組み込む新しいアーキテクチャであるSE-VAE(Structural Equation-Variational Autoencoder)を導入する。
構造方程式モデリングにインスパイアされたSE-VAEは、潜在部分空間を既知の指標群と整列させ、構造特異的な共役変異を分離するために大域的ニュアンスラデントを導入する。
SE-VAEは、係数回復、解釈可能性、およびニュアンス変動に対する堅牢性において、オルタナティブよりも一貫して優れている。
論文 参考訳(メタデータ) (2025-08-08T14:21:20Z) - SEED: A Structural Encoder for Embedding-Driven Decoding in Time Series Prediction with LLMs [3.036179638516407]
組込み型デコードのための構造的エンコーダSEEDは,パッチ抽出のためのトークン対応エンコーダ,言語モデル埋め込みとパッチを整列するプロジェクションモジュール,タスク対応プロトタイプにパッチをマッピングするセマンティックプログラミング機構の4つの段階を統合している。
このモジュラーアーキテクチャは、推論から表現学習を分離し、数値パターンと意味論的推論の効率的なアライメントを可能にする。
論文 参考訳(メタデータ) (2025-06-25T06:40:14Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Geometric Deep Learning for Structure-Based Drug Design: A Survey [83.87489798671155]
構造に基づく薬物設計(SBDD)は、タンパク質の3次元幾何学を利用して、潜在的な薬物候補を特定する。
近年の幾何学的深層学習の進歩は、3次元幾何学的データを効果的に統合・処理し、この分野を前進させてきた。
論文 参考訳(メタデータ) (2023-06-20T14:21:58Z) - Interpretable Mixture of Experts [71.55701784196253]
Interpretable Mixture of Experts (IME)は本質的に解釈可能なモデリングフレームワークである。
IMEは単一の解釈可能なモデルよりも正確であることが示され、既存の最先端のDeep Neural Networks(DNN)と正確に比較できる。
IMEの説明は、ユーザスタディを通じて一般的に使われているポストホックな説明法と比較される。
論文 参考訳(メタデータ) (2022-06-05T06:40:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。