論文の概要: Unmasking the Chameleons: A Benchmark for Out-of-Distribution Detection in Medical Tabular Data

• arxiv url: http://arxiv.org/abs/2309.16220v1
• Date: Thu, 28 Sep 2023 07:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 15:39:03.439904
• Title: Unmasking the Chameleons: A Benchmark for Out-of-Distribution Detection in Medical Tabular Data
• Title（参考訳）: chameleonsのアンマスキング - 医療用表データにおける分散検出のベンチマーク
• Authors: Mohammad Azizmalayeri, Ameen Abu-Hanna, Giovanni Cin\'a
• Abstract要約: 我々は,近距離OODと遠距離OODを含む一連のテストに対して,異なる手法を比較するベンチマークを提案する。 以上の結果から,この問題は遠方のOODでは解決されるが,近方のOODでは未解決であることが明らかとなった。 トランスフォーマーアーキテクチャは、ResNetやResNetと比べてはるかに信頼性が低い。
• 参考スコア（独自算出の注目度）: 1.161962828740753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their success, Machine Learning (ML) models do not generalize effectively to data not originating from the training distribution. To reliably employ ML models in real-world healthcare systems and avoid inaccurate predictions on out-of-distribution (OOD) data, it is crucial to detect OOD samples. Numerous OOD detection approaches have been suggested in other fields - especially in computer vision - but it remains unclear whether the challenge is resolved when dealing with medical tabular data. To answer this pressing need, we propose an extensive reproducible benchmark to compare different methods across a suite of tests including both near and far OODs. Our benchmark leverages the latest versions of eICU and MIMIC-IV, two public datasets encompassing tens of thousands of ICU patients in several hospitals. We consider a wide array of density-based methods and SOTA post-hoc detectors across diverse predictive architectures, including MLP, ResNet, and Transformer. Our findings show that i) the problem appears to be solved for far-OODs, but remains open for near-OODs; ii) post-hoc methods alone perform poorly, but improve substantially when coupled with distance-based mechanisms; iii) the transformer architecture is far less overconfident compared to MLP and ResNet.
• Abstract（参考訳）: その成功にもかかわらず、機械学習(ML)モデルは、トレーニング分布から派生していないデータに効果的に一般化しない。 現実の医療システムにMLモデルを確実に採用し、アウト・オブ・ディストリビューション(OOD)データの不正確な予測を避けるためには、OODサンプルを検出することが不可欠である。 他の分野、特にコンピュータビジョンにおいて、多くのOOD検出アプローチが提案されているが、医療表データを扱う際の課題が解決されるかどうかは不明である。 そこで本研究では,近距離OODと遠距離OODを含む一連のテストにおいて,様々な手法を比較した再現性ベンチマークを提案する。 我々のベンチマークでは、いくつかの病院で数十万人のICU患者を含む2つの公開データセットであるeICUとMIMIC-IVの最新バージョンを活用している。 我々は,MLP,ResNet,Transformerなど,様々な予測アーキテクチャにまたがる多種多様な密度ベース手法とSOTAポストホック検出器を検討する。 私たちの発見は 一 遠方のOODについては解決されたものの、近方のOODについては未解決のままである。 二 ポストホック法だけでは、性能が良くないが、距離に基づく機構と組み合わせて、大幅に改善する。 三 トランスフォーマーアーキテクチャは、MPPやResNetに比べてはるかに信頼性が低い。

関連論文リスト

• Resultant: Incremental Effectiveness on Likelihood for Unsupervised Out-of-Distribution Detection [63.93728560200819]
  unsupervised out-of-distribution (U-OOD) は、未表示のin-distriion(ID)データのみに基づいて訓練された検出器でデータサンプルを識別することである。 近年の研究は、DGMに基づく様々な検出器を開発し、可能性を超えて移動している。 本研究では,各方向,特にポストホック前とデータセットエントロピー・ミューチュアルキャリブレーションの2つの手法を適用した。 実験の結果、結果が新しい最先端のU-OOD検出器になる可能性が示された。
  論文  参考訳（メタデータ） (2024-09-05T02:58:13Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• DOCTOR: A Multi-Disease Detection Continual Learning Framework Based on Wearable Medical Sensors [3.088223994180069]
  ウェアラブル医療センサ(WMS)に基づく多相検出連続学習フレームワークであるDOCTORを提案する。 マルチヘッドディープニューラルネットワーク(DNN)とリプレイスタイルのCLアルゴリズムを採用している。 平均テスト精度は1.43倍、F1スコアは1.25倍、後方転送は0.41倍である。
  論文  参考訳（メタデータ） (2023-05-09T19:33:17Z)
• DIAGNOSE: Avoiding Out-of-distribution Data using Submodular Information Measures [13.492292022589918]
  類似性と相似性を共同でモデル化できる,新しいアクティブラーニングフレームワークであるDiagnoseを提案する。 本実験は, 医用画像の複数の領域にまたがる最先端AL法に対する診断の優位性を検証するものである。
  論文  参考訳（メタデータ） (2022-10-04T11:07:48Z)
• Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data [7.221206118679026]
  既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。 本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。 多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
  論文  参考訳（メタデータ） (2022-07-15T14:39:57Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• DrugOOD: Out-of-Distribution (OOD) Dataset Curator and Benchmark for AI-aided Drug Discovery -- A Focus on Affinity Prediction Problems with Noise Annotations [90.27736364704108]
  我々は、AI支援薬物発見のための体系的なOODデータセットキュレーターおよびベンチマークであるTarmOODを提案する。 DrugOODには、ベンチマークプロセスを完全に自動化するオープンソースのPythonパッケージが付属している。 我々は、薬物標的結合親和性予測という、AIDDにおける最も重要な問題の1つに焦点を当てる。
  論文  参考訳（メタデータ） (2022-01-24T12:32:48Z)
• No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets [69.725266027309]
  アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。 本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。 また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
  論文  参考訳（メタデータ） (2021-09-12T16:35:00Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。