Fugu-MT 論文翻訳(概要): In-context learning enables multimodal large language models to classify cancer pathology images

論文の概要: In-context learning enables multimodal large language models to classify cancer pathology images

arxiv url: http://arxiv.org/abs/2403.07407v1
Date: Tue, 12 Mar 2024 08:34:34 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 22:22:16.012395
Title: In-context learning enables multimodal large language models to classify cancer pathology images
Title（参考訳）: マルチモーダルな大言語モデルによる癌病理像の分類
Authors: Dyke Ferber, Georg W\"olflein, Isabella C. Wiest, Marta Ligero, Srividhya Sainath, Narmin Ghaffari Laleh, Omar S.M. El Nahhas, Gustav M\"uller-Franzes, Dirk J\"ager, Daniel Truhn, Jakob Nikolas Kather
Abstract要約: 言語処理では、コンテキスト内学習(in-context learning)は、モデルがプロンプト内で学習し、パラメータ更新の必要性を回避できる代替手段を提供する。そこで本研究では,GPT-4V(Generative Pretrained Transformer 4 with Vision (GPT-4V)) を用いたがん画像処理モデルの評価を行った。この結果から,テキスト内学習は特定のタスクで訓練された特殊なニューラルネットワークに適合したり,あるいは性能を向上するのに十分であり,最小限のサンプルしか必要としないことがわかった。
参考スコア（独自算出の注目度）: 0.7085801706650957
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Medical image classification requires labeled, task-specific datasets which are used to train deep learning networks de novo, or to fine-tune foundation models. However, this process is computationally and technically demanding. In language processing, in-context learning provides an alternative, where models learn from within prompts, bypassing the need for parameter updates. Yet, in-context learning remains underexplored in medical image analysis. Here, we systematically evaluate the model Generative Pretrained Transformer 4 with Vision capabilities (GPT-4V) on cancer image processing with in-context learning on three cancer histopathology tasks of high importance: Classification of tissue subtypes in colorectal cancer, colon polyp subtyping and breast tumor detection in lymph node sections. Our results show that in-context learning is sufficient to match or even outperform specialized neural networks trained for particular tasks, while only requiring a minimal number of samples. In summary, this study demonstrates that large vision language models trained on non-domain specific data can be applied out-of-the box to solve medical image-processing tasks in histopathology. This democratizes access of generalist AI models to medical experts without technical background especially for areas where annotated data is scarce.
Abstract（参考訳）: 医療画像分類には、Deep Learning Network de novoのトレーニングや基礎モデルの微調整に使用されるラベル付きタスク固有のデータセットが必要である。しかし、このプロセスは計算的かつ技術的に要求される。言語処理では、インコンテキスト学習(in-context learning)は、モデルがプロンプト内で学習する代替手段を提供する。しかし、医学的画像分析では、文脈内学習は未熟である。本稿では,癌における組織サブタイプ分類,大腸ポリープサブタイピング,リンパ節切片における乳腺腫瘍検出の3つの課題について,癌画像処理における視覚能力(gpt-4v)を備えたモデル生成前訓練トランスフォーマー4を組織学的に評価した。この結果から,テキスト内学習は,特定のタスクで訓練された特殊なニューラルネットワークの適合や性能に十分であり,最小限のサンプルしか必要としないことがわかった。本研究は,非ドメイン特化データに基づく大規模視覚言語モデルを適用し,病理組織学における医用画像処理課題を解決することを実証する。これにより、特に注釈付きデータが不足している領域において、専門知識のない一般のAIモデルの医療専門家へのアクセスが民主化される。

関連論文リスト

FPN-IAIA-BL: A Multi-Scale Interpretable Deep Learning Model for Classification of Mass Margins in Digital Mammography [17.788748860485438]
解釈不能なディープラーニングモデルは、高度な環境には適さない。コンピュータビジョンの解釈における最近の研究は、かつてのブラックボックスに対して透明性を提供する。本稿では,マンモグラフィマスマージン分類のための多段階解釈型深層学習モデルを提案する。
論文参考訳（メタデータ） (2024-06-10T15:44:41Z)
Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文参考訳（メタデータ） (2024-04-27T05:03:42Z)
Towards a Visual-Language Foundation Model for Computational Pathology [5.72536252929528]
病理組織学(CONCH)におけるコントラスト学習について紹介する。 CONCHは、様々な組織像、生医学的テキスト、タスクに依存しない事前トレーニングのソースを用いて開発された視覚言語基盤モデルである。 13種類の多様なベンチマークで評価され, 画像分類, セグメンテーション, キャプション, テキスト・ツー・イメージ検索, 画像・テキスト検索における最先端のパフォーマンスを達成している。
論文参考訳（メタデータ） (2023-07-24T16:13:43Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
論文参考訳（メタデータ） (2022-05-13T20:42:07Z)
Intelligent Masking: Deep Q-Learning for Context Encoding in Medical Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文参考訳（メタデータ） (2022-03-25T19:05:06Z)
IAIA-BL: A Case-based Interpretable Deep Learning Model for Classification of Mass Lesions in Digital Mammography [20.665935997959025]
機械学習モデルの解釈性は、高リスク決定において重要である。機械学習に基づくマンモグラフィを解釈可能なフレームワークを提案する。
論文参考訳（メタデータ） (2021-03-23T05:00:21Z)
Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
論文参考訳（メタデータ） (2020-09-27T12:30:30Z)
Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。