論文の概要: Medical AI Encodes a "Feeling of Error": Verifying Cancer Segmentation via Internal Concepts

• arxiv url: http://arxiv.org/abs/2609.08879v1
• Date: Tue, 08 Sep 2026 15:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 20:38:17.799111
• Title: Medical AI Encodes a "Feeling of Error": Verifying Cancer Segmentation via Internal Concepts
• Title（参考訳）: 医療AIが「エラーのフィーリング」をコード化:内的概念によるがん分離の検証
• Abstract要約: がんのセグメンテーションモデルは静かに失敗し、発見を見逃したり、不必要な生検を犯す恐れがあるが、不正確なマスクを発生させる。 AIモデルは、いつ間違っているかを"知る"のか、もしそうなら、シグナルを使って自身の失敗を予測することができるのか? がんセグメント化モデルが類似した内部信号を示すかどうかを考察する。
• 参考スコア（独自算出の注目度）: 18.378978331773222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cancer segmentation models can fail silently, generating plausible but incorrect masks that risk missed findings or unnecessary biopsies. A critical question arises: Do AI models "know" when they are wrong, and if so, can we use the signal to predict their own failures? Humans do have a "Feeling of Error" (FOE): a spontaneous sense of unease that flags a potential error during thinking. We investigate whether cancer segmentation models exhibit an analogous internal signal. Unlike output-level cues (e.g., prediction confidence or uncertainty), which offer no insight into why a failure occurs and suffer from a sensitivity-quality tradeoff where high detection sensitivity could degrade overall segmentation quality. We instead propose to capture the model's FOE from its inner workings. Using mechanistic interpretability tools, specifically Sparse Autoencoders, we decompose internal neural activations into a dictionary of human-interpretable concepts and show that failure cases exhibit a distinct latent signature: fewer active concepts with lower activation magnitudes compared to successful segmentation. By training a classifier on these concept activations, we achieve accurate failure detection along with explanations for the model's mistakes. Experiments on prostate, pancreatic, and brain cancer segmentation demonstrate that our approach outperforms output-based methods in failure detection while preserving segmentation quality.
• Abstract（参考訳）: がんのセグメンテーションモデルは静かに失敗し、発見を見逃したり、不必要な生検を犯す恐れがあるが、不正確なマスクを発生させる。 重要な疑問が浮かび上がっている。 AIモデルは、いつそれが間違っているのかを"知る"ことができ、もしそうなら、信号を使って自身の失敗を予測することができるか? 人間は「誤りの感情」(Feeling of Error、FOE)を持っている。 がんセグメント化モデルが類似した内部信号を示すかどうかを考察する。 アウトプットレベルのキュー(例えば、予測の信頼性や不確実性)とは異なり、なぜ障害が発生し、高い検出感度が全体的なセグメンテーション品質を低下させるような感度品質のトレードオフに苦しむのか、見当もつかない。 代わりに、モデルのFOEを内部の動作から捉えることを提案する。 機械的解釈可能性ツール、特にスパースオートエンコーダを用いて、内部の神経の活性化を人間の解釈可能な概念の辞書に分解し、障害事例が正常なセグメンテーションよりも低いアクティベーションサイズの活性概念を減らしていることを示す。 これらの概念のアクティベーションに基づいて分類器を訓練することにより、モデルの誤りを説明するとともに、正確な故障検出を実現する。 前立腺癌、膵癌、脳がんのセグメンテーションに関する実験では、セグメンテーションの品質を維持しながら、アウトプットに基づく故障検出法よりも優れていることが示された。

関連論文リスト

• Trustworthy Medical Segmentation: Uncertainty-Aware U-Net Evaluation Under Clinical Image Degradation [0.0]
  臨床劣化下での不確実性認識セグメンテーションを評価するための枠組みを提案する。 セグメンテーションの精度、校正、故障検出、選択的予測カバレッジを測定する。 これらの結果は, 医師・医師・医科医の安全層としての不確実性を考慮した推論を論じるものである。
  論文  参考訳（メタデータ） (2026-07-22T06:35:33Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide [6.944960925152066]
  安全クリティカルなドメインへのAIシステムのデプロイは、信頼性の欠如によって妨げられている。 誤検出された1つの誤った予測は破滅的な結果をもたらす可能性がある。 本稿では,2値欠陥検出ネットワークにおける偽陰性検出のためのポストホックな説明に基づくインジケータを提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:10:41Z)
• Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models [40.6282934670186]
  我々は、異常知識は本質的に訓練済みモデルに埋め込まれているが、潜伏し、未活性化状態のままであると主張している。 本稿では、これらの重要な神経信号を特定し、引き起こす訓練不要のフレームワークである潜在異常知識発掘(LAKE)を提案する。 我々の研究は、未熟な事前学習知識の標的的活性化として異常検出を再定義するパラダイムシフトを提唱している。
  論文  参考訳（メタデータ） (2026-04-09T04:54:25Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• How Does Pruning Impact Long-Tailed Multi-Label Medical Image Classifiers? [49.35105290167996]
  プルーニングは、ディープニューラルネットワークを圧縮し、全体的なパフォーマンスに大きな影響を及ぼすことなく、メモリ使用量と推論時間を短縮する強力なテクニックとして登場した。 この研究は、プルーニングがモデル行動に与える影響を理解するための第一歩である。
  論文  参考訳（メタデータ） (2023-08-17T20:40:30Z)
• Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral Fracture Grading [72.45699658852304]
  本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。 フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。 重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
  論文  参考訳（メタデータ） (2023-03-21T17:16:01Z)
• Diffusion Denoising Process for Perceptron Bias in Out-of-distribution Detection [67.49587673594276]
  我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。 DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。 CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T08:45:08Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Algorithmic encoding of protected characteristics and its implications on disparities across subgroups [17.415882865534638]
  機械学習モデルは、患者の人種的アイデンティティと臨床結果の間に望ましくない相関関係を拾うことができる。 これらのバイアスがどのようにコード化され、どのように異なるパフォーマンスを減らしたり、取り除いたりするかについては、ほとんど分かっていない。
  論文  参考訳（メタデータ） (2021-10-27T20:30:57Z)
• Unsupervised 3D Brain Anomaly Detection [0.0]
  異常検出(AD)とは、学習したデータ分布に適合しないデータサンプルの同定である。 GAN(Generative Adrial Networks)のような深層生成モデルは、解剖学的変動を捉えるために利用される。 本研究では、1つのモデルで体積データを効率的に処理し、3次元脳異常を検出する最初のADアプローチを例示する。
  論文  参考訳（メタデータ） (2020-10-09T17:59:17Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。