論文の概要: High Accurate and Explainable Multi-Pill Detection Framework with Graph
Neural Network-Assisted Multimodal Data Fusion
- arxiv url: http://arxiv.org/abs/2303.09782v1
- Date: Fri, 17 Mar 2023 05:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 15:29:45.013189
- Title: High Accurate and Explainable Multi-Pill Detection Framework with Graph
Neural Network-Assisted Multimodal Data Fusion
- Title（参考訳）: グラフニューラルネットワーク支援マルチモーダルデータ融合を用いた高精度かつ説明可能なマルチピル検出フレームワーク
- Authors: Anh Duy Nguyen, Huy Hieu Pham, Huynh Thanh Trung, Quoc Viet Hung
Nguyen, Thao Nguyen Truong, Phi Le Nguyen
- Abstract要約: 我々はまず,実環境におけるマルチピル検出問題に取り組み,薬の摂取量でユーザによって捕獲された錠剤のローカライズと同定を目的としている。
ハードサンプルを扱うために,3種類のパイプ間関係を組み込んだ不均一な先行グラフを構築する手法を提案する。
次に、検出精度を高めるために、プリオリとピルの視覚的特徴を統合するためのフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 9.197624827438029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the significant resemblance in visual appearance, pill misuse is
prevalent and has become a critical issue, responsible for one-third of all
deaths worldwide. Pill identification, thus, is a crucial concern needed to be
investigated thoroughly. Recently, several attempts have been made to exploit
deep learning to tackle the pill identification problem. However, most
published works consider only single-pill identification and fail to
distinguish hard samples with identical appearances. Also, most existing pill
image datasets only feature single pill images captured in carefully controlled
environments under ideal lighting conditions and clean backgrounds. In this
work, we are the first to tackle the multi-pill detection problem in real-world
settings, aiming at localizing and identifying pills captured by users in a
pill intake. Moreover, we also introduce a multi-pill image dataset taken in
unconstrained conditions. To handle hard samples, we propose a novel method for
constructing heterogeneous a priori graphs incorporating three forms of
inter-pill relationships, including co-occurrence likelihood, relative size,
and visual semantic correlation. We then offer a framework for integrating a
priori with pills' visual features to enhance detection accuracy. Our
experimental results have proved the robustness, reliability, and
explainability of the proposed framework. Experimentally, it outperforms all
detection benchmarks in terms of all evaluation metrics. Specifically, our
proposed framework improves COCO mAP metrics by 9.4% over Faster R-CNN and
12.0% compared to vanilla YOLOv5. Our study opens up new opportunities for
protecting patients from medication errors using an AI-based pill
identification solution.
- Abstract（参考訳）: 視覚的外観に顕著な類似性のため、ピル誤用は一般的であり、世界中で3分の1の死亡の原因となっている。
したがって、パイル識別は徹底的に調査する必要がある重要な問題である。
近年, 深層学習を利用した錠剤識別問題への取り組みが試みられている。
しかし、ほとんどの出版物は単孔識別のみを考慮し、同一の外観の硬いサンプルを識別できない。
また、既存のピル画像データセットのほとんどは、理想的な照明条件とクリーンな背景の下で、注意深く制御された環境で撮影された単一のピルイメージのみを特徴としている。
本研究は, 実環境におけるマルチピル検出問題に最初に取り組み, 利用者が服用した錠剤のローカライズと特定を目的としたものである。
さらに,制約のない条件下でのマルチピル画像データセットも導入する。
ハードサンプルを扱うために, 共起可能性, 相対サイズ, 視覚意味相関の3つの形態を含む不均一な事前グラフを構築する新しい手法を提案する。
次に,検出精度を高めるために,プリオリとピルの視覚機能を統合するためのフレームワークを提供する。
実験の結果,提案フレームワークの堅牢性,信頼性,説明可能性が確認された。
実験的に、すべての評価指標で全ての検出ベンチマークを上回っます。
具体的には,提案フレームワークにより,r-cnnよりも9.4%向上し,vanilla yolov5と比較して12.0%向上した。
我々の研究は、AIベースの錠剤識別ソリューションを用いて、患者を薬物エラーから守る新たな機会を開く。
関連論文リスト
- Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。
そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
論文 参考訳（メタデータ） (2024-10-30T10:33:10Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳（メタデータ） (2023-03-20T16:28:15Z) - A Novel Approach for Pill-Prescription Matching with GNN Assistance and
Contrastive Learning [6.226781755452289]
モバイル画像から薬の処方を正しく識別するシステムを開発した。
PIMAはグラフニューラルネットワーク(GNN)とコントラスト学習を用いた新しいアプローチである。
PIMAは、他のベースラインと比較して精度を19.09%から46.95%に改善している。
論文 参考訳（メタデータ） (2022-09-02T16:18:36Z) - Image-based Contextual Pill Recognition with Medical Knowledge Graph
Assistance [3.4123736336071864]
創薬精度を高めるために外部知識を活用するPIKAという新しいアプローチを導入する。
具体的には,患者が服薬を摂取した写真から薬を識別することを目的とした現実的なシナリオ(文脈的錠剤認識)に対処する。
このフレームワーク内では、各錠剤の視覚的表現をグラフ埋め込み空間にマッピングし、グラフ表現に注意を向けるために使用される。
論文 参考訳（メタデータ） (2022-08-04T03:55:53Z) - SSM-DTA: Breaking the Barriers of Data Scarcity in Drug-Target Affinity
Prediction [127.43571146741984]
薬物標的親和性(DTA)は、早期の薬物発見において極めて重要である。
湿式実験は依然として最も信頼性の高い方法であるが、時間と資源が集中している。
既存の手法は主に、データ不足の問題に適切に対処することなく、利用可能なDTAデータに基づく技術開発に重点を置いている。
SSM-DTAフレームワークについて述べる。
論文 参考訳（メタデータ） (2022-06-20T14:53:25Z) - DrugOOD: Out-of-Distribution (OOD) Dataset Curator and Benchmark for
AI-aided Drug Discovery -- A Focus on Affinity Prediction Problems with Noise
Annotations [90.27736364704108]
我々は、AI支援薬物発見のための体系的なOODデータセットキュレーターおよびベンチマークであるTarmOODを提案する。
DrugOODには、ベンチマークプロセスを完全に自動化するオープンソースのPythonパッケージが付属している。
我々は、薬物標的結合親和性予測という、AIDDにおける最も重要な問題の1つに焦点を当てる。
論文 参考訳（メタデータ） (2022-01-24T12:32:48Z) - VeriMedi: Pill Identification using Proxy-based Deep Metric Learning and
Exact Solution [0.0]
このソリューションには、セグメンテーションと識別を行う2つの連続接続型ディープラーニングソリューションがある。
セグメンテーションソリューションは、マスクR-CNNモデルを使用してバイアル画像内の各ピルのマスクを作成し、その後、セグメンテーションと作物を丸薬を作成し、背景をぼやけます。
生成された埋め込みベクトルは、1つの丸薬イメージを予測するために正確なソリューションで訓練された1層の完全に接続されたネットワークに供給されます。
論文 参考訳（メタデータ） (2021-04-22T06:52:30Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳（メタデータ） (2021-04-02T20:52:05Z) - Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object
Detection [66.10057490293981]
半監視対象検出のためのデータ不確実性誘導多相学習法を提案する。
本手法は,ベースライン手法と比較して異常に動作し,大きなマージンで性能を向上する。
論文 参考訳（メタデータ） (2021-03-29T09:27:23Z) - ePillID Dataset: A Low-Shot Fine-Grained Benchmark for Pill
Identification [5.914780964919123]
我々は、9804の出現クラスを表す13k画像からなる、ピル画像認識における最大の公開ベンチマークであるePillIDを紹介する。
ほとんどの外観クラスでは、参照画像は1つしか存在せず、ローショットの認識設定に挑戦する。
論文 参考訳（メタデータ） (2020-05-28T20:53:36Z) - Drug-Drug Interaction Prediction with Wasserstein Adversarial
Autoencoder-based Knowledge Graph Embeddings [22.562175708415392]
薬物・薬物相互作用のための知識グラフ埋め込みフレームワークを提案する。
本フレームワークでは, 高品質な負のサンプルを生成するために, オートエンコーダを用いる。
判別器は、正三重項と負三重項の両方に基づいて薬物と相互作用の埋め込みを学習する。
論文 参考訳（メタデータ） (2020-04-15T21:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。