論文の概要: MINT: A wrapper to make multi-modal and multi-image AI models interactive

• arxiv url: http://arxiv.org/abs/2401.12032v1
• Date: Mon, 22 Jan 2024 15:17:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 13:34:49.759499
• Title: MINT: A wrapper to make multi-modal and multi-image AI models interactive
• Title（参考訳）: MINT:マルチモーダルとマルチイメージAIモデルをインタラクティブにするラッパー
• Authors: Jan Freyberg, Abhijit Guha Roy, Terry Spitz, Beverly Freeman, Mike Schaekermann, Patricia Strachan, Eva Schnider, Renee Wong, Dale R Webster, Alan Karthikesalingam, Yun Liu, Krishnamurthy Dvijotham, Umesh Telang
• Abstract要約: 医師は、最も関連する情報のみを取得するために、標的となる医療史を採る。 我々はMINTという名のラッパー手法を開発し、各ステップでどの情報が最も価値があるかを自動で決定する。 MINTはメタデータの入力が必要かどうかを識別できる。
• 参考スコア（独自算出の注目度）: 14.75203910151423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During the diagnostic process, doctors incorporate multimodal information including imaging and the medical history - and similarly medical AI development has increasingly become multimodal. In this paper we tackle a more subtle challenge: doctors take a targeted medical history to obtain only the most pertinent pieces of information; how do we enable AI to do the same? We develop a wrapper method named MINT (Make your model INTeractive) that automatically determines what pieces of information are most valuable at each step, and ask for only the most useful information. We demonstrate the efficacy of MINT wrapping a skin disease prediction model, where multiple images and a set of optional answers to $25$ standard metadata questions (i.e., structured medical history) are used by a multi-modal deep network to provide a differential diagnosis. We show that MINT can identify whether metadata inputs are needed and if so, which question to ask next. We also demonstrate that when collecting multiple images, MINT can identify if an additional image would be beneficial, and if so, which type of image to capture. We showed that MINT reduces the number of metadata and image inputs needed by 82% and 36.2% respectively, while maintaining predictive performance. Using real-world AI dermatology system data, we show that needing fewer inputs can retain users that may otherwise fail to complete the system submission and drop off without a diagnosis. Qualitative examples show MINT can closely mimic the step-by-step decision making process of a clinical workflow and how this is different for straight forward cases versus more difficult, ambiguous cases. Finally we demonstrate how MINT is robust to different underlying multi-model classifiers and can be easily adapted to user requirements without significant model re-training.
• Abstract（参考訳）: 診断過程の間、医師は画像や医療史などのマルチモーダル情報を取り入れ、同様に医療AIの開発も多モーダルになりつつある。 本稿では、より微妙な課題に取り組む。医師は、最も関連する情報のみを取得するために、ターゲットとする医療履歴を取る。 我々はMINT(Make your model INTeractive)と呼ばれるラッパー手法を開発し、各ステップで最も価値のある情報を自動的に決定し、最も有用な情報のみを要求する。 我々は,MINTの皮膚疾患予測モデルの有効性を実証し,複数の画像と25ドルの標準メタデータ質問に対するオプション回答(構造化された医療履歴)をマルチモーダルディープネットワークで利用し,鑑定診断を行う。 MINTはメタデータの入力が必要かどうかを識別でき、もし必要ならば次の質問をすることができる。 また、複数の画像を収集する場合、MINTは追加画像が有用かどうか、その場合、どの種類の画像をキャプチャするかを識別できることを示した。 予測性能を維持しつつ、mintは必要なメタデータと画像入力の数をそれぞれ82%、36.2%削減することを示した。 実世界のAI皮膚科のシステムデータを用いて、診断なしにシステムへの提出や停止を失敗する可能性のあるユーザを、少ないインプットで維持できることを示す。 定性的な例では、MINTは、臨床ワークフローのステップバイステップ決定プロセスと、より困難であいまいなケースとにおいて、どのように異なるのかを、深く模倣することができる。 最後に、MINTは、異なる基盤となるマルチモデル分類器に対して堅牢であり、重要なモデル再訓練なしに、ユーザ要求に容易に適応できることを示す。

関連論文リスト

• MOSMOS: Multi-organ segmentation facilitated by medical report supervision [10.396987980136602]
  マルチオーガンスーパービジョン(MOS)のための新しい事前学習・微調整フレームワークを提案する。 具体的には、まず、トレーニング前の段階で、医用画像とレポートのペアを合わせるために、グローバルコントラスト学習を導入する。 さらに,画像画素と臓器タグ間の意味的対応を暗黙的に学習するために,マルチラベル認識を活用する。
  論文  参考訳（メタデータ） (2024-09-04T03:46:17Z)
• VISION-MAE: A Foundation Model for Medical Image Segmentation and Classification [36.8105960525233]
  医用画像に特化して設計された新しい基礎モデルVISION-MAEを提案する。 VISION-MAEは、様々なモダリティから250万枚の未ラベル画像のデータセットでトレーニングされている。 その後、明示的なラベルを使って分類とセグメンテーションのタスクに適応する。
  論文  参考訳（メタデータ） (2024-02-01T21:45:12Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• Prototype Knowledge Distillation for Medical Segmentation with Missing Modality [5.0043036421429035]
  本稿では,その課題に対処するために,プロトタイプの知識蒸留法(ProtoKD)を提案する。 我々のProtoKDは、マルチモダリティデータのピクセル単位の知識を単一モダリティデータに蒸留するだけでなく、クラス内およびクラス間の特徴変化を伝達する。 提案手法はBraTSベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T08:29:54Z)
• Pixel-Level Explanation of Multiple Instance Learning Models in Biomedical Single Cell Images [52.527733226555206]
  複数のインスタンス学習モデルを説明するための4つの属性法について検討する。 急性骨髄性白血病の2つのデータセットと100万以上の単細胞画像について検討した。 我々は、属性マップと医療専門家の注釈を比較し、モデルの意思決定が人間の基準とどのように異なるかを確認する。
  論文  参考訳（メタデータ） (2023-03-15T14:00:11Z)
• Heterogeneous Graph Learning for Multi-modal Medical Data Analysis [6.3082663934391014]
  マルチモーダル医療データを融合するために,HetMedというグラフベースの効果的なフレームワークを提案する。 HetMedは、患者間の複雑な関係を体系的に捉え、より正確な臨床判断をもたらす。
  論文  参考訳（メタデータ） (2022-11-28T09:14:36Z)
• CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in Medical Imaging AI [1.359138408203412]
  医用画像AIドリフトモニタリングワークフローを構築してテストし、同時代の地上真実なしにデータとモデルドリフトを追跡する。 主な貢献は,(1)VAEおよび領域特異的統計手法を含む医用画像ドリフト検出のための概念実証である。 この研究は、動的医療環境における継続的医療画像AIモデルモニタリングに関連する翻訳ギャップに対処するために重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-02-06T18:58:35Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
  注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。 本稿では,生成逆U-Netという新しい生成手法を提案する。 当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
  論文  参考訳（メタデータ） (2021-01-12T23:02:26Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Universal Model for Multi-Domain Medical Image Retrieval [88.67940265012638]
  医用画像検索(MIR)は、医師が類似した患者のデータを素早く見つけるのに役立つ。 MIRはデジタル画像モダリティの多用により、ますます役に立ちつつある。 しかし、病院における様々なデジタル画像モダリティの人気もまた、MIRにいくつかの課題をもたらしている。
  論文  参考訳（メタデータ） (2020-07-14T23:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。