Fugu-MT 論文翻訳(概要): Alternating Cross-attention Vision-Language Model for Efficient Learning with Medical Image and Report without Curation

論文の概要: Alternating Cross-attention Vision-Language Model for Efficient Learning with Medical Image and Report without Curation

arxiv url: http://arxiv.org/abs/2208.05140v1
Date: Wed, 10 Aug 2022 04:35:58 GMT
ステータス: 処理完了
システム内更新日: 2022-08-11 12:26:00.091531
Title: Alternating Cross-attention Vision-Language Model for Efficient Learning with Medical Image and Report without Curation
Title（参考訳）: 医用画像による効果的な学習の代替的横断的視覚言語モデルとカリキュラムなしでの報告
Authors: Sangjoon Park, Eun Sun Lee, Jeong Eun Lee, and Jong Chul Ye
Abstract要約: 本稿では,医療領域における視覚言語事前学習のためのモデルMAX-VLを紹介する。事前学習したMAX-VLモデルは、様々な視覚言語タスクにおいて、現在の最先端のビジョンモデルよりも優れていることを実験的に実証した。
参考スコア（独自算出の注目度）: 33.3067403671401
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Recent advances in vision-language pre-training have demonstrated astounding performances in diverse vision-language tasks, shedding a light on the long-standing problems of a comprehensive understanding of both visual and textual concepts in artificial intelligence research. However, there has been limited success in the application of vision-language pre-training in the medical domain, as the current vision-language models and learning strategies for photographic images and captions are not optimal to process the medical data which are usually insufficient in the amount and the diversity, which impedes successful learning of joint vision-language concepts. In this study, we introduce MAX-VL, a model tailored for efficient vision-language pre-training in the medical domain. We experimentally demonstrated that the pre-trained MAX-VL model outperforms the current state-of-the-art vision language models in various vision-language tasks. We also suggested the clinical utility for the diagnosis of newly emerging diseases and human error detection as well as showed the widespread applicability of the model in different domain data.
Abstract（参考訳）: 視覚言語プレトレーニングの最近の進歩は、様々な視覚言語タスクにおける驚くべきパフォーマンスを示し、人工知能研究における視覚的およびテキスト的概念の包括的理解という長年の問題に光を当てている。しかし、現在の視覚言語モデルや写真画像やキャプションの学習戦略は、共同視覚言語の概念の学習に支障をきたすような量や多様性に乏しい医療データを処理するのに最適ではないため、医学領域での視覚言語事前学習の適用は限定的に成功している。本研究では,医療領域における視覚言語事前学習のためのモデルMAX-VLを紹介する。事前学習したMAX-VLモデルは、様々な視覚言語タスクにおいて、現在の最先端の視覚言語モデルよりも優れていることを実験的に実証した。また,新たに出現した疾患の診断と人為的エラー検出のための臨床的有用性を提案し,異なるドメインデータにおけるモデルの適用可能性を示した。

関連論文リスト

The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
論文参考訳（メタデータ） (2024-09-03T00:48:50Z)
Advancing human-centric AI for robust X-ray analysis through holistic self-supervised learning [33.9544297423474]
873kの胸部X線で自己監督によって訓練された大型ビジュアルエンコーダであるRayDinoについて紹介する。我々はレイディーノと過去の9つの放射線学課題における最先端モデルを比較し、分類と密分化からテキスト生成までについて述べる。以上の結果から,患者中心型AIがX線の臨床・解釈に有用であることが示唆された。
論文参考訳（メタデータ） (2024-05-02T16:59:10Z)
Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文参考訳（メタデータ） (2024-04-27T05:03:42Z)
Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文参考訳（メタデータ） (2024-03-19T09:28:19Z)
Exploring scalable medical image encoders beyond text supervision [42.86944965225041]
言語による事前学習は、画像から意味論的に意味のある特徴を抽出する貴重な方法であることが証明されている。生体画像エンコーダRAD-DINOについて検討した。
論文参考訳（メタデータ） (2024-01-19T17:02:17Z)
Application Of Vision-Language Models For Assessing Osteoarthritis Disease Severity [0.43431539537721414]
変形性関節症(OA)は、正確な診断方法を必要とする世界的な健康上の課題である。 OAアセスメントのための既存のディープラーニングモデルは、単一タスクシステムである。本研究では,X線画像とそれに対応するレポートを用いて,視覚言語処理モデルを用いてOA重大度を予測する。
論文参考訳（メタデータ） (2024-01-12T02:43:58Z)
Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文参考訳（メタデータ） (2023-10-04T21:57:09Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文参考訳（メタデータ） (2023-06-13T17:59:59Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains [3.8137985834223502]
臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
論文参考訳（メタデータ） (2022-10-09T01:43:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。