論文の概要: Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

• arxiv url: http://arxiv.org/abs/2607.12278v1
• Date: Tue, 14 Jul 2026 02:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.013874
• Title: Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks
• Title（参考訳）: 全スライディング画像マルチモーダルベンチマークにおけるデータ漏洩の検討
• Abstract要約: 最近の視覚言語モデル(VLM)は、全スライディング画像(WSI)視覚質問応答(VQA)ベンチマークでゼロショット性能を報告している。 われわれはこれらの主張を監査し、2つの階層レベルでデータ漏洩によって根本から侵害されていることを発見した。 主要な公共リソースにわたる標準スライド、ケース、TSS識別子をトレースすることにより、TGA由来のベンチマークでケースレベルの列車試験のオーバーラップを92.3100%記録する。
• 参考スコア（独自算出の注目度）: 15.085471360062497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language models (VLMs) for computational pathology report striking zero-shot performance on whole-slide image (WSI) visual question answering (VQA) benchmarks. We audit these claims and find them fundamentally compromised by data leakage at two hierarchical levels: patient-level leakage, where slides from the same case appear in both training and test folds, and institutional-level leakage, where different cases nonetheless share staining-batch and scanner signatures through a common Tissue Source Site (TSS). By tracing canonical slide, case, and TSS identifiers across major public resources, we document case level train test overlaps of 92.3~100% on TCGA-derived benchmarks, together with near-complete TSS overlap. We further demonstrate that both leakage levels are linearly decodable from foundation-model feature space, that they induce a measurable accuracy gap between leaked and audit-clean cases on a published checkpoint, and that across multiple published WSI VLMs, peak reported accuracies concentrate on the most heavily contaminated benchmarks. Therefore, the current WSI VQA evaluation cannot distinguish genuine multimodal reasoning from nearest-neighbor retrieval over memorized institutional and patient-specific artifacts. Finally, we outline concrete recommendations for contamination-free evaluation. By addressing benchmark construction, provenance disclosure, and automated overlap auditing, we aim to guide future research toward verifiable claims of progress.
• Abstract（参考訳）: 最近の視覚言語モデル(VLM)は、全スライディング画像(WSI)視覚質問応答(VQA)ベンチマークでゼロショット性能を報告している。 患者レベルのリーク(同じケースからスライドがトレーニングとテストの両方に現れる)と制度レベルのリーク(異なるケースが共通の組織ソースサイト(TSS)を通じて染色バッチとスキャナーの署名を共有する)である。 主要な公共資源にまたがる標準スライド、ケース、TSS識別子をトレースすることにより、TGA由来のベンチマークで92.3〜100%のケースレベルの列車試験オーバーラップとほぼ完全なTSSオーバーラップを文書化する。 さらに,2つのリークレベルが基本モデルの特徴空間から線形にデオード可能であること,また,複数のWSI VLMにおいて,最も重く汚染されたベンチマークに集中していることを実証した。 したがって、現在のWSI VQA評価では、記憶された施設や患者固有のアーティファクトに最も近い隣り合う検索から、真のマルチモーダル推論を区別することはできない。 最後に,汚染のない評価のための具体的な勧告について概説する。 本研究は, ベンチマーク構築, 証明開示, 自動重複監査に対処することによって, 今後の研究を, 進展の確証のある主張へと導くことを目的とする。

関連論文リスト

• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks [0.36748639131154315]
  本研究は、確立されたベンチマーク設定の堅牢性を調査し、本質的なバイアスを測定する方法を検討する。 本実験では,評価設定が変更された場合のベンチマーク動作に有意な差がみられた。 モデル固有の不安定性を観察し、より堅牢で包括的な安全性評価フレームワークの必要性を明確に示す。
  論文  参考訳（メタデータ） (2026-05-11T14:27:39Z)
• Task-Agnostic Noisy Label Detection via Standardized Loss Aggregation [0.0]
  ノイズラベルは、大規模な医療画像データセットで一般的である。 統計的基盤とタスクに依存しないフレームワークであるStandardized Loss Aggregation(SLA)を提案する。 SLAは、標準化された折りたたみレベルのバリデーション損失を集約することで、ラベルの信頼性を定量化する。
  論文  参考訳（メタデータ） (2026-05-11T08:16:09Z)
• DisastQA: A Comprehensive Benchmark for Evaluating Question Answering in Disaster Management [27.25517951457221]
  我々は8つの災害タイプにまたがる3000の厳格に検証された質問(2000の多重選択と1,000のオープンエンド)の大規模ベンチマークであるDisastQAを紹介した。 オープンエンドQAでは,冗長性よりも事実的完全性を重視した,人間の検証されたキーポイントに基づく評価プロトコルを提案する。 20モデルを用いた実験では、MMLU-Proのような汎用のリーダーボードとはかなりの相違が見られる。
  論文  参考訳（メタデータ） (2026-01-07T07:46:42Z)
• SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
  話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-21T14:11:16Z)
• Cumulative Consensus Score: Label-Free and Model-Agnostic Evaluation of Object Detectors in Deployment [3.6178660238507843]
  オブジェクト検出モデルをデプロイで評価することは難しい。 実環境における検知器の連続的な監視と比較を可能にするラベルフリーメトリックであるCumulative Consensus Score (CCS)を紹介した。
  論文  参考訳（メタデータ） (2025-09-16T09:24:37Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。