論文の概要: Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

• arxiv url: http://arxiv.org/abs/2607.25589v1
• Date: Tue, 28 Jul 2026 11:19:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.814617
• Title: Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact
• Title（参考訳）: 放射線ビジョンランゲージモデルベンチマークの法医学的再現性:暗黙のプロトコルからリリースアーティファクトへ
• Abstract要約: 保存型胸部X線画像言語モデル(VLMパイロット)の法医学的検査を行った。 我々は,プロンプトバインディング,DICOMメタデータ,出力完全性,ラベル抽出,マッチング解析,リリース伝搬をトレースした。 我々は,コーホート,DICOMレンダリング,プロンプトおよびモデル識別,コールステータス,アノテーション,キー解析,派生アーティファクトに対するマシン検証可能な制御を,オリジナルの性能,ランキング,プロンプト効果,臨床クレームを取り除いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical-imaging AI benchmarks combine datasets, DICOM rendering, prompts, provider APIs, automated labels, statistical code, manuscripts, and repository releases. Agreement across these artifacts is usually assumed rather than tested. We performed a retrospective forensic reproducibility audit of a preserved chest-radiograph vision-language model (VLM) pilot; no model was called again and no image or report was newly annotated. We traced prompt bindings, DICOM metadata, output completeness, label extraction, matched analyses, and release propagation. Of 300 planned model-prompt calls, 297 yielded nonempty reports. Sixty Claude calls labeled A/B were executed with the same C prompt. The 30 studies represented 28 patients. Four MONOCHROME1 images were rendered without required polarity inversion, dataset split membership was not retained, and the unvalidated extractor truncated five reports to 4000 characters. Reconstructing one common cohort of 369 complete case-finding blocks changed Cochran's Q from 154.73 to 182.29. Of 45 McNemar comparisons, 27 had unadjusted p < 0.05 and 20 remained below 0.05 after Holm adjustment. These values describe only the archived automated-label matrix; they do not recover the intended prompt comparison or establish clinical performance. We withdraw the original performance, ranking, prompt-effect, and clinical claims and specify machine-verifiable controls for cohort, DICOM rendering, prompt and model identity, call status, annotation provenance, keyed analysis, and derived artifacts.
• Abstract（参考訳）: 医療画像AIベンチマークは、データセット、DICOMレンダリング、プロンプト、プロバイダAPI、自動ラベル、統計コード、原稿、リポジトリリリースを組み合わせる。 これらの成果物間の合意は通常、テストよりもむしろ仮定される。 保存型胸部X線画像言語モデル(VLM)パイロットの振り返り法で再現性検査を行ったが,再検査は行われず,画像や報告も新たに付加されなかった。 我々は,プロンプトバインディング,DICOMメタデータ,出力完全性,ラベル抽出,マッチング解析,リリース伝搬をトレースした。 計画された300回のモデル・プロンプトコールのうち、297回は空でない報告を得た。 A/Bとラベル付けされた60のクロードコールは、同じCプロンプトで実行された。 対象は28例であった。 4枚のMONOCHROME1画像は極性反転を必要とせずレンダリングされ、データセット分割メンバーシップは保持されず、未検証の抽出機は5つのレポートを4000文字に切り離した。 369個の完全ケースフィディングブロックの共通コホートを再構築すると、コクランのQは154.73から182.29に変更された。 45のマクネマール比較のうち、27は調整されていないp < 0.05 であり、ホルム調整後の20は 0.05 未満にとどまった。 これらの値は、アーカイブされた自動ラベルマトリックスのみを記述しており、意図した即時比較を回復したり、臨床成績を確立したりしない。 我々は,コーホート,DICOMレンダリング,プロンプトとモデルの同一性,コールステータス,アノテーションの証明,キー解析,派生アーティファクトに対するマシン検証可能な制御を,オリジナルの性能,ランキング,即効性,臨床クレームを取り除いた。

関連論文リスト

• Watermarks Without Verification: AI Text Watermarking After the EU AI Act [49.51124343181601]
  EU AI法第50条では、生成可能なAIプロバイダに対して、システムが生成したコンテンツをマークし、AI生成として検出することを要求している。 Anthropicは、その日後にリリースされたすべてのClaudeモデルが、すべての生成されたテキストにSynthID-Textに基づく透かしを埋め込んでいることを公表した。 我々は、現在、異議や保証は確認できないし、この不信は、それ自体を透かしではなく、実質的なガバナンスの失敗であると論じている。
  論文  参考訳（メタデータ） (2026-09-09T01:56:17Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Evaluating the Safety of Deep Learning-Based Brain MRI Reconstruction [0.0]
  深層学習は、病変を消去したり、偽の組織を合成したりできるが、PSNRやSSIMミスのようなピクセル平均値の失敗はありえない。 PRISMA 2020の後、263の研究(1995-2026)を含む、日付制限のない7つのデータベースを検索した。 263件中18件(6.8%)のみが、同一データに対する忠実度測定と読者評価の両方を記録しており、中央サロゲートは未測定のままである。
  論文  参考訳（メタデータ） (2026-08-28T08:08:14Z)
• Beyond Static Anchors: Bounded Prototype Conditioning for Language-Free Medical Anomaly Detection [52.986874008247554]
  本稿では,静的アンカーを入力条件付きビジュアルプロトタイプに置き換える言語フリーフレームワークReCAPを提案する。 ReCAPリセンターは、境界ゲート変調により、各画像の正常と異常なプロトタイプを分離した。 3つのセグメンテーションデータセットで最高のゼロショットレベルのAUROCと、24の複数ショット設定のうち23のゼロショットレベルのAUROCを達成する。
  論文  参考訳（メタデータ） (2026-08-01T04:46:55Z)
• The Librarian Who Refused to Code: Model-Dependent Identity Enactment in LLM Code Generation [0.0]
  4つの条件(ペルソナなし、2人のエンジニアペルソナ、研究図書館ペルソナ)、12のコード生成タスク、2つのフロンティアモデル、5つのセル実行)をテストした。 事前登録された混合効果分析では, プロバイダが報告した出力トークンに対して, 条件・バイ・モデル相互作用が重要であった。 Claude Opusでは、最小限のエンジニアのペルソナが正確性を改善することなく可視出力を30%削減し、一方、徹底的なエンジニアのペルソナは正確性のないアウトプットを増加させた。
  論文  参考訳（メタデータ） (2026-07-19T21:47:58Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Automated High-Precision Extraction and Forensic Verification of Data-Bearing Vector Figures [45.39546965981896]
  科学と工学の量的記録は、テキストや表ではなく数字によってもたらされる。 図をグラフィックとして保存すると、そのデータは画像によって近似されず、エンコードされる。 これを3つのコントリビューションに変換します。
  論文  参考訳（メタデータ） (2026-06-30T08:43:32Z)
• Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence [45.78409219344429]
  マルチモーダル大言語モデル (MLLM) は, 臨床VQAと放射線学報告の生成に強い期待を示すが, 推測時幻覚は信頼性を損なう。 本稿では,両面のエビデンス注入による幻覚を系統的に緩和する,総合的かつトレーニング不要なエビデンス注入フレームワークを提案する。 textttLLaVA-1.5-7B, texttLLaVA-Med-1.5-7B, texttQwen3-VL-8B/32B, textttInternVL を用いた2つのタスクと5つのデータセットの系統的評価を行った。
  論文  参考訳（メタデータ） (2026-06-30T08:07:25Z)
• The Slop Paradox: How Synthetic Standardization Erodes Clinical Uncertainty and Cross-Modal Alignment in AI-Rewritten Radiology Reports [0.0]
  インディアナ大学のデータセットから450個の胸部X線レポートを用いて、3つのリアルな書き換えタスクによって合成版を生成する。 我々は, 実体浸食(医学的NER), ヘッジ崩壊(臨床不確実性言語の欠如), クロスモーダルアライメント劣化を測定した。 劣化の主要な要因は、臨床内容ではなく、AI書き換えタスクの種類である。
  論文  参考訳（メタデータ） (2026-06-16T11:07:48Z)
• Phenotyping TPF via Self-Supervised Learning: A Label-Agnostic Framework with Expert Validation [2.201241345037463]
  我々は、観測者指定のラベルなしで、画像データから直接フラクチャー表現を学習するためのラベルに依存しないフレームワークを設計、実装、検証する。 RadImageNet-pretrained ResNet-50 encoderは154個の膝X線写真に微調整されている。 ラベルに依存しないSSL表現は,従来の分類を再現し,臨床的に解釈可能な補完であることを示す。
  論文  参考訳（メタデータ） (2026-06-15T21:04:31Z)
• When Should an AI Scientist Stop? Verifiable Experiment Steering and Refusal for Autonomous Discovery [0.0]
  CARTOGRAPHは、AI科学者のための検証レイヤーである。 未解決宇宙実験ステアリング(選択)、明示的曖昧性閉鎖(解決)、残差に基づくライブラリ不整合検出(再利用)の2つを結合する。
  論文  参考訳（メタデータ） (2026-05-26T18:19:16Z)
• NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding [6.217658756255346]
  NeuroQAは3次元脳磁気共鳴画像(MRI)における視覚的質問応答のための大規模ベンチマークである 5-104歳と5つの臨床領域(アルツハイマー病、パーキンソン病、腫瘍、白質疾患、神経発達)にまたがる。 NeuroQAは、Yes/No、Multi-choice、オープンエンドフォーマットの11の臨床基礎的推論スキルを評価している。
  論文  参考訳（メタデータ） (2026-05-19T21:54:12Z)
• Automated Spinal MRI Labelling from Reports Using a Large Language Model [45.348320669329205]
  大規模言語モデルを用いたラジオロジーレポートからラベルの抽出を自動化するパイプラインを提案する。 本手法は,GPT-4と同等か,あるいは超えている。 抽出したラベルを用いて画像モデルの訓練を行い,MRスキャンによる特定条件の分類を行う。
  論文  参考訳（メタデータ） (2024-10-22T17:54:07Z)
• Deep Omni-supervised Learning for Rib Fracture Detection from Chest Radiology Images [41.62893318123283]
  ディープラーニング(DL)に基づくリブ骨折検出は、死亡を予防し、患者の予後を改善する上で重要な役割を担っている。 DLベースのオブジェクト検出モデルは、大量のバウンディングボックスアノテーションを必要とします。 医用データの注釈付けは時間がかかり専門知識が要求されるため、大量の細かい注釈を得られることは極めて不可能である。 我々は,ORF-Netv2という新しいオブジェクト検出ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-06-23T05:36:03Z)
• Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
  我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。 その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。 再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
  論文  参考訳（メタデータ） (2023-04-21T11:54:44Z)
• CLARA: Clinical Report Auto-completion [56.206459591367405]
  CLARA(CLinicit Al It Report It Auto-Completion)は、医師のアンカーワードと部分的に完成した文に基づいて、文章でレポートを生成するインタラクティブな方法である。 実験では,X線で0.393 CIDEr,0.248 BLEU-4,脳波で0.482 CIDEr,0.491 BLEU-4を得た。
  論文  参考訳（メタデータ） (2020-02-26T18:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。