論文の概要: A Novel Approach for Pill-Prescription Matching with GNN Assistance and
Contrastive Learning
- arxiv url: http://arxiv.org/abs/2209.01152v1
- Date: Fri, 2 Sep 2022 16:18:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:31:45.997928
- Title: A Novel Approach for Pill-Prescription Matching with GNN Assistance and
Contrastive Learning
- Title(参考訳): GNN支援とコントラスト学習によるPill-Prescription Matchingの新しい手法
- Authors: Trung Thanh Nguyen, Hoang Dang Nguyen, Thanh Hung Nguyen, Huy Hieu
Pham, Ichiro Ide, Phi Le Nguyen
- Abstract要約: モバイル画像から薬の処方を正しく識別するシステムを開発した。
PIMAはグラフニューラルネットワーク(GNN)とコントラスト学習を用いた新しいアプローチである。
PIMAは、他のベースラインと比較して精度を19.09%から46.95%に改善している。
- 参考スコア(独自算出の注目度): 6.226781755452289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medication mistaking is one of the risks that can result in unpredictable
consequences for patients. To mitigate this risk, we develop an automatic
system that correctly identifies pill-prescription from mobile images.
Specifically, we define a so-called pill-prescription matching task, which
attempts to match the images of the pills taken with the pills' names in the
prescription. We then propose PIMA, a novel approach using Graph Neural Network
(GNN) and contrastive learning to address the targeted problem. In particular,
GNN is used to learn the spatial correlation between the text boxes in the
prescription and thereby highlight the text boxes carrying the pill names. In
addition, contrastive learning is employed to facilitate the modeling of
cross-modal similarity between textual representations of pill names and visual
representations of pill images. We conducted extensive experiments and
demonstrated that PIMA outperforms baseline models on a real-world dataset of
pill and prescription images that we constructed. Specifically, PIMA improves
the accuracy from 19.09% to 46.95% compared to other baselines. We believe our
work can open up new opportunities to build new clinical applications and
improve medication safety and patient care.
- Abstract(参考訳): 医薬品の誤用は、患者にとって予測不能な結果をもたらすリスクの1つだ。
このリスクを軽減するために,モバイル画像から薬の処方を正しく識別する自動システムを開発した。
具体的には,錠剤と処方薬の名前の一致を図示する「錠剤規範マッチングタスク」を定義した。
次に,グラフニューラルネットワーク(GNN)とコントラスト学習を用いた新しいアプローチであるPIMAを提案する。
特に、GNNは処方薬中のテキストボックス間の空間的相関を学習し、薬名を持つテキストボックスをハイライトするために使用される。
さらに、ピル名のテキスト表現とピル画像の視覚表現の相互類似性のモデル化を容易にするために、コントラスト学習を用いる。
PIMAが構築したピルと処方薬の画像の実際のデータセット上で,ベースラインモデルより優れていることを示した。
具体的には、PIMAは他のベースラインに比べて19.09%から46.95%に精度を向上する。
我々の研究は、新しい臨床応用を構築し、医薬品の安全性と患者医療を改善する新しい機会を開くことができると信じている。
関連論文リスト
- Natural Language-Assisted Multi-modal Medication Recommendation [97.07805345563348]
NLA-MMR(Natural Language-Assisted Multi-modal Medication Recommendation)を紹介する。
NLA-MMRは、患者視点から知識を学習し、医薬視点を共同で学習するために設計されたマルチモーダルアライメントフレームワークである。
本稿では,プレトレーニング言語モデル(PLM)を用いて,患者や医薬品に関するドメイン内知識を抽出する。
論文 参考訳(メタデータ) (2025-01-13T09:51:50Z) - Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳(メタデータ) (2024-09-13T10:19:10Z) - SynerGPT: In-Context Learning for Personalized Drug Synergy Prediction
and Drug Design [64.69434941796904]
本稿では,テキスト内薬物相乗学習のための新しい設定とモデルを提案する。
特定のがん細胞標的の文脈における10~20の薬物相乗関係の「個人化データセット」を作成した。
私たちの目標は、その文脈で追加の薬物シナジー関係を予測することです。
論文 参考訳(メタデータ) (2023-06-19T17:03:46Z) - High Accurate and Explainable Multi-Pill Detection Framework with Graph
Neural Network-Assisted Multimodal Data Fusion [9.197624827438029]
我々はまず,実環境におけるマルチピル検出問題に取り組み,薬の摂取量でユーザによって捕獲された錠剤のローカライズと同定を目的としている。
ハードサンプルを扱うために,3種類のパイプ間関係を組み込んだ不均一な先行グラフを構築する手法を提案する。
次に、検出精度を高めるために、プリオリとピルの視覚的特徴を統合するためのフレームワークを提供する。
論文 参考訳(メタデータ) (2023-03-17T05:48:26Z) - Image-based Contextual Pill Recognition with Medical Knowledge Graph
Assistance [3.4123736336071864]
創薬精度を高めるために外部知識を活用するPIKAという新しいアプローチを導入する。
具体的には,患者が服薬を摂取した写真から薬を識別することを目的とした現実的なシナリオ(文脈的錠剤認識)に対処する。
このフレームワーク内では、各錠剤の視覚的表現をグラフ埋め込み空間にマッピングし、グラフ表現に注意を向けるために使用される。
論文 参考訳(メタデータ) (2022-08-04T03:55:53Z) - VeriMedi: Pill Identification using Proxy-based Deep Metric Learning and
Exact Solution [0.0]
このソリューションには、セグメンテーションと識別を行う2つの連続接続型ディープラーニングソリューションがある。
セグメンテーションソリューションは、マスクR-CNNモデルを使用してバイアル画像内の各ピルのマスクを作成し、その後、セグメンテーションと作物を丸薬を作成し、背景をぼやけます。
生成された埋め込みベクトルは、1つの丸薬イメージを予測するために正確なソリューションで訓練された1層の完全に接続されたネットワークに供給されます。
論文 参考訳(メタデータ) (2021-04-22T06:52:30Z) - Drug Package Recommendation via Interaction-aware Graph Induction [44.493214829186115]
本稿では,DPR on Weighted Graph (DPR-WG) とDPR on Attributed Graph (DPR-AG) の2つのバリエーションを持つ新しいDPRフレームワークを提案する。
詳しくは、マスク層を用いて患者の状態の影響を捉え、最終グラフ誘導タスクにグラフニューラルネットワーク(GNN)を利用してパッケージを埋め込む。
論文 参考訳(メタデータ) (2021-02-06T12:51:00Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳(メタデータ) (2020-12-06T20:30:26Z) - Learning-based Computer-aided Prescription Model for Parkinson's
Disease: A Data-driven Perspective [61.70045118068213]
我々は、PD患者の症状と、神経科医が提供した処方薬を収集し、データセットを構築した。
そこで我々は、観察された症状と処方薬との関係を学習し、新しいコンピュータ支援処方薬モデルを構築した。
新来の患者に対しては、処方薬モデルにより、観察された症状に対して適切な処方薬を推奨できる(予測)。
論文 参考訳(メタデータ) (2020-07-31T14:34:35Z) - ePillID Dataset: A Low-Shot Fine-Grained Benchmark for Pill
Identification [5.914780964919123]
我々は、9804の出現クラスを表す13k画像からなる、ピル画像認識における最大の公開ベンチマークであるePillIDを紹介する。
ほとんどの外観クラスでは、参照画像は1つしか存在せず、ローショットの認識設定に挑戦する。
論文 参考訳(メタデータ) (2020-05-28T20:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。