論文の概要: Image-based Contextual Pill Recognition with Medical Knowledge Graph Assistance

• arxiv url: http://arxiv.org/abs/2208.02432v1
• Date: Thu, 4 Aug 2022 03:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:34:30.759846
• Title: Image-based Contextual Pill Recognition with Medical Knowledge Graph Assistance
• Title（参考訳）: 医用知識グラフ支援を用いた画像に基づくコンテキストピル認識
• Authors: Anh Duy Nguyen, Thuy Dung Nguyen, Huy Hieu Pham, Thanh Hung Nguyen, Phi Le Nguyen
• Abstract要約: 創薬精度を高めるために外部知識を活用するPIKAという新しいアプローチを導入する。 具体的には,患者が服薬を摂取した写真から薬を識別することを目的とした現実的なシナリオ(文脈的錠剤認識)に対処する。 このフレームワーク内では、各錠剤の視覚的表現をグラフ埋め込み空間にマッピングし、グラフ表現に注意を向けるために使用される。
• 参考スコア（独自算出の注目度）: 3.4123736336071864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying pills given their captured images under various conditions and backgrounds has been becoming more and more essential. Several efforts have been devoted to utilizing the deep learning-based approach to tackle the pill recognition problem in the literature. However, due to the high similarity between pills' appearance, misrecognition often occurs, leaving pill recognition a challenge. To this end, in this paper, we introduce a novel approach named PIKA that leverages external knowledge to enhance pill recognition accuracy. Specifically, we address a practical scenario (which we call contextual pill recognition), aiming to identify pills in a picture of a patient's pill intake. Firstly, we propose a novel method for modeling the implicit association between pills in the presence of an external data source, in this case, prescriptions. Secondly, we present a walk-based graph embedding model that transforms from the graph space to vector space and extracts condensed relational features of the pills. Thirdly, a final framework is provided that leverages both image-based visual and graph-based relational features to accomplish the pill identification task. Within this framework, the visual representation of each pill is mapped to the graph embedding space, which is then used to execute attention over the graph representation, resulting in a semantically-rich context vector that aids in the final classification. To our knowledge, this is the first study to use external prescription data to establish associations between medicines and to classify them using this aiding information. The architecture of PIKA is lightweight and has the flexibility to incorporate into any recognition backbones. The experimental results show that by leveraging the external knowledge graph, PIKA can improve the recognition accuracy from 4.8% to 34.1% in terms of F1-score, compared to baselines.
• Abstract（参考訳）: 様々な条件や背景条件下での撮像画像から薬剤の同定がますます重要になっている。 文学におけるピル認識問題に取り組むために,深層学習に基づくアプローチを活用すべく,いくつかの取り組みがなされている。 しかし、錠剤の外観の類似度が高いため、誤認識がしばしば起こり、錠剤の認識が困難となる。 そこで本研究では,創薬精度を高めるために外部知識を活用するPIKAという新しいアプローチを提案する。 具体的には,患者が服薬を摂取した写真から薬を識別することを目的とした現実的なシナリオ(文脈的錠剤認識と呼ぶ)に対処する。 まず,外的データソースの存在下での錠剤間の暗黙的関連をモデル化する新しい手法を提案する。 次に,グラフ空間からベクトル空間へ変換し,ピルの凝縮関係の特徴を抽出するウォークベースのグラフ埋め込みモデルを提案する。 第3に、画像ベースとグラフベースの両方のリレーショナル機能を活用して、ピル識別タスクを達成するための最終フレームワークを提供する。 この枠組みの中で、各錠剤の視覚的表現はグラフ埋め込み空間にマッピングされ、グラフ表現に注意を向けるために使用される。 本研究は,外的処方データを用いて薬剤間の関連を確立し,この補助情報を用いて分類する初の研究である。 PIKAのアーキテクチャは軽量で、任意の認識バックボーンに組み込む柔軟性がある。 実験結果から,外部知識グラフを利用することで,ベースラインに比べてF1スコアの認識精度が4.8%から34.1%に向上することが示された。

関連論文リスト

• Learning Generalized Medical Image Representations through Image-Graph Contrastive Pretraining [11.520404630575749]
  胸部X線と構造化レポート知識グラフを組み合わせた画像グラフコントラスト学習フレームワークを開発した。 提案手法は,リレーショナルグラフ畳み込みネットワークとトランスフォーマーアテンションを介して,非連結グラフ成分を一意に符号化する。
  論文  参考訳（メタデータ） (2024-05-15T12:27:38Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• High Accurate and Explainable Multi-Pill Detection Framework with Graph Neural Network-Assisted Multimodal Data Fusion [9.197624827438029]
  我々はまず,実環境におけるマルチピル検出問題に取り組み,薬の摂取量でユーザによって捕獲された錠剤のローカライズと同定を目的としている。 ハードサンプルを扱うために,3種類のパイプ間関係を組み込んだ不均一な先行グラフを構築する手法を提案する。 次に、検出精度を高めるために、プリオリとピルの視覚的特徴を統合するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-03-17T05:48:26Z)
• A Novel Approach for Pill-Prescription Matching with GNN Assistance and Contrastive Learning [6.226781755452289]
  モバイル画像から薬の処方を正しく識別するシステムを開発した。 PIMAはグラフニューラルネットワーク(GNN)とコントラスト学習を用いた新しいアプローチである。 PIMAは、他のベースラインと比較して精度を19.09%から46.95%に改善している。
  論文  参考訳（メタデータ） (2022-09-02T16:18:36Z)
• VeriMedi: Pill Identification using Proxy-based Deep Metric Learning and Exact Solution [0.0]
  このソリューションには、セグメンテーションと識別を行う2つの連続接続型ディープラーニングソリューションがある。 セグメンテーションソリューションは、マスクR-CNNモデルを使用してバイアル画像内の各ピルのマスクを作成し、その後、セグメンテーションと作物を丸薬を作成し、背景をぼやけます。 生成された埋め込みベクトルは、1つの丸薬イメージを予測するために正確なソリューションで訓練された1層の完全に接続されたネットワークに供給されます。
  論文  参考訳（メタデータ） (2021-04-22T06:52:30Z)
• Soft-Label Anonymous Gastric X-ray Image Distillation [49.24576562557866]
  本稿では,勾配降下法に基づく軟式ラベル匿名胃X線画像蒸留法を提案する。 実験の結果,提案手法は医療データセットを効果的に圧縮するだけでなく,患者の個人情報を保護するために医療画像の匿名化も可能であることがわかった。
  論文  参考訳（メタデータ） (2021-04-07T02:04:12Z)
• Learning-based Computer-aided Prescription Model for Parkinson's Disease: A Data-driven Perspective [61.70045118068213]
  我々は、PD患者の症状と、神経科医が提供した処方薬を収集し、データセットを構築した。 そこで我々は、観察された症状と処方薬との関係を学習し、新しいコンピュータ支援処方薬モデルを構築した。 新来の患者に対しては、処方薬モデルにより、観察された症状に対して適切な処方薬を推奨できる(予測)。
  論文  参考訳（メタデータ） (2020-07-31T14:34:35Z)
• ePillID Dataset: A Low-Shot Fine-Grained Benchmark for Pill Identification [5.914780964919123]
  我々は、9804の出現クラスを表す13k画像からなる、ピル画像認識における最大の公開ベンチマークであるePillIDを紹介する。 ほとんどの外観クラスでは、参照画像は1つしか存在せず、ローショットの認識設定に挑戦する。
  論文  参考訳（メタデータ） (2020-05-28T20:53:36Z)
• Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete Labels [66.57101219176275]
  胸部X線画像上の疾患診断は,多ラベル分類の課題である。 本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。 本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
  論文  参考訳（メタデータ） (2020-02-26T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。